joao-kitajima / amazonbooks

Data Analysing and Webscraping project extracting data from Amazon books store website

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Amazon Books Data Analysing

English

Our purpose with this project was to extract information about books on the Amazon store website, in order to study correlations between the data collected (eg. Price x Reviews), analyse products, authors, publishers and categories, constructing data visualizations for better analytical overview.

We did this project for academic purpose only.
ALL RIGHTS RESERVED FOR AMAZON.COM, INC.

Programming languages:

  • Python (Data Extraction using Selenium and database modeling)
  • Typescript (Website Structure)

Libraries and Tools:

Usage Tool/ Library Version
Data Visualization ApexCharts.js v3.31.0
Data Scraping Selenium (Python) v3.141.0
DBMS (JS) SQLite3 v^4.2.0
DBMS (Python) SQLAlchemy v1.3.16
Wrapper TypeScript containing Express.js, EJS and MySQL for website structure Teem v0.0.21
Database management and queries testing DB Browser for SQLite v3.12.2


Português

Nossa intenção com esse projeto foi retirar informações dos livros do site da Amazon a fim de estudar relações entre os dados (ex. Preço x Avaliações), analisar produtos, autores, editoras e categorias, montando visualizações com os seus respectivos dados obtidos.

O projeto foi realizado apenas com intenções de estudo.
TODOS OS DIREITOS RESERVADOS PARA AMAZON.COM, INC.

Linguagens de Programação utilizadas:

  • Python (Extração de dados com Selenium e criação de banco)
  • Typescript (Estrutura do website)

Bibliotecas e Ferramentas utilizadas:

Função Ferramenta/ Biblioteca Versão
Montagem dos gráficos e visualizações ApexCharts.js v3.31.0
Raspagem de dados Selenium (Python) v3.141.0
SGBD (JS) SQLite3 v^4.2.0
SGBD (Python) SQLAlchemy v1.3.16
Wrapper TypeScript contendo Express.js, EJS e MySQL para construção do site Teem v0.0.21
Edição do banco e teste de consultas DB Browser for SQLite v3.12.2

Developers / Criadores

Fernanda Shinoda João Kitajima

Screenshots / Capturas de Tela

Landing Page

General Dashboard

Authors Dashboard

Infographic

About

Data Analysing and Webscraping project extracting data from Amazon books store website


Languages

Language:EJS 72.6%Language:TypeScript 26.1%Language:CSS 1.2%