Learning Crawlers

bolsafamilia

Extração de dados com Requests para listar brasileiros do Bolsa Família

Dados-Publicos

Mapeamento de Dados Públicos

olx-empregos

Extração de dados com Beautiful Soup + Selenium para encontrar empregos no OLX

Prefeitura-Rio-de-Janeiro-Remuneracao

Extração de dados com Selenium + BeautifulSoup para listar pagamentos da Prefeitura do Rio de Janeiro

tcerj

Extração de dados com Selenium de contas irregulares no TCERJ

riovagas

Extração de dados com Selenium para encontrar empregos no RioVagas

Raspagem-de-dados-para-iniciantes

Raspagem de dados para iniciante usando Scrapy e outras libs básicas

Base-Compras-Licitacoes-Sao-Paulo

Extração de dados com Requests para listar Compras e Licitações da Cidade de São Paulo

CETSP-Pagamentos

Extração de dados com Requests para listar pagamentos da CETSP

CNPJ-full

Utilitário em Python para ler os dados públicos do CNPJ disponibilizados pela Receita Federal e carregá-los em arquivos csv ou sqlite para fácil consumo. Também permite consultas com visualização interativa ou exportação para formatos diversos.

fipe-crawler

FIPE Crawler - Script que realiza download dos dados da Tabela FIPE Preço Médio de Veículos.

FUNDATEC-Pagamentos

Extração de dados com Requests para listar pagamentos da FUNDATEC

HoneyMustard

Crawler Manager API

raspagemmega

Script para raspagem e organização dos dados da Mega-Sena divulgados pela Caixa Econômica Federal.

SPTRANS-Pagamentos

Extração de dados com Requests para listar pagamentos da SPTRANS

tinder-swipe-bot

CrawlerG1

CrawlerG1

stf-remuneracao

Extração de dados com Requests para lista as remunerações do STF

C01

Coleta de Dados Públicos

catalogos-dados-brasil

Mapeamento de iniciativas (e catálogos) de dados abertos governamentais no Brasil.

CNEP

Extração de dados com Requests para listar empresas do CNEP - Cadastro Nacional de Empresas Punidas

covid19-br

Dados diários mais recentes do coronavírus por município brasileiro

Data-Science--Cheat-Sheet

Cheat Sheets

diario-oficial

📰 Brazilian government gazettes, accessible to everyone.

instabotai

Instagram AI bot with face detection. It works without instagram api, need only login and password.

locatefamily-brazil

Extração de dados com Requests para listar brasileiros do Locate Family

playwright-python

Python version of the Playwright testing and automation library.

pynubank

Acesse seus extratos do Nubank pelo Python (Baseado na versão JS: https://github.com/Astrocoders/nubank-api)

raspagem-ordens-camara

transparencia-gov-br

Scraper do Portal da Transparência do Governo Federal, em Python 3