KevinCerqueira / curso-web-crawler

Repositório do Curso Web Crawler e BOT no Twitter com Python e MongoDB

Curso Web Crawler

Este projeto foi criado como parte do curso de Web Crawling. Ele contém scripts em Python para extrair informações de produtos de sites de e-commerce como Kabum, Amazon e Magazine Luiza.

Sumário

• Pré-requisitos
• Bibliotecas Utilizadas
• Instalação
• Estrutura do Projeto
• Uso

Pré-requisitos

• Python 3.10+
• pip

Bibliotecas Utilizadas

• Requests
• BeautifulSoup

Instalação

Para instalar as dependências, execute:

pip install -r requirements.txt

Uso

Para usar o Web Crawler, siga as etapas abaixo:

1. Clone o repositório

   git clone https://github.com/KevinCerqueira/curso-web-crawler.git

2. Entre na pasta src

   cd curso-web-crawler/src

3. Execute o comando

    python crawler.py