flaviofilipe / crawler-aula-weekit

Projeto criado para o minicurso de Crawler no weekit 2019 do IFBA -VCA

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Requerimentos para começar

Obs: Todo teste foi executado utilizando o sistema Ubuntu 18.04. Para outros sistemas operacionais poderá ocorrer algumas pequenas modificações. Qualquer dúvida, acesse a documentação oficial da ferramenta.

Criar ambiente de desenvolvimento

Criação do ambiente virtual na pasta raiz do projeto

virtualenv venv

Ativação do ambiente

source venv/bin/activate

Instalar pacotes request, beautifulsoup4 e Flask

pip install request
pip install beautifulsoup4
pip install Flask

Estrutura do projeto

  • venv - Ambiente virtual com os pacotes instalados
  • app - Toda a aplicação
    • __init__.py - Insere as configurações do Flask
    • controller.py - Rotas e metodos para chamar o crawler
    • crawlers
      • __init__.py
      • noticias.py - Crawler responsável por pegar as noticias do site
  • config.py - Configurações do Flask
  • run.py - Comando para executar a aplicação

Possíveis erros

About

Projeto criado para o minicurso de Crawler no weekit 2019 do IFBA -VCA


Languages

Language:JavaScript 97.0%Language:HTML 2.2%Language:Python 0.8%Language:CSS 0.0%