FIPE Crawler
Script que realiza download dos dados da Tabela FIPE Preço Médio de Veículos.
Licensa: MIT
Instalação
Requisitos
- Versão linha de comando: PHP + PHP-CLI, MySQL, Composer.
- Versão Web: PHP, Apache, MySQL, Composer.
- Desenvolvimento versão Web: NodeJS e Bower
Instalação versão linha de comando
apt-get install php5 php5-cli php-mysql php5-curl php5-json mysql-server-5.5
git clone https://github.com/rafaelgou/fipe-crawler.git
curl -sS https://getcomposer.org/installer | php
./composer.phar install
Instalação versão Web
apt-get install php5 php5-cli php-mysql php5-curl php5-json mysql-server-5.5 apache2 libapache2-mod-php5
git clone https://github.com/rafaelgou/fipe-crawler.git
curl -sS https://getcomposer.org/installer | php
./composer.phar install
Para desenvolvimento utilize também bower install
(exige NodeJS ).
A versão Web foi construída AngularJS v1.3.20, ou seja, está bastante desatualizada. Utilize preferencialmente a versão de linha de comando.
Configuração
cd fipecrawler/config
cp config.dist.php config.php
Editar informações de acesso ao banco e URL para versão Web:
<?php
$db = array(
'host' => 'localhost',
'dbname' => 'fipe',
'user' => 'root',
'pass' => 'senha',
);
Crie a tabela veiculo
no banco de dados com o seguinte comando:
mysql fipe -u root -p < sql/veiculo.sql
Execução via linha de comando
Na raiz do sistema, execute:
./fipecrawler
que exibe ajuda padrão e lista de comandos do sistema:
veiculo
veiculo:csv Exporta arquivo CSV por ano, mês e tipo
veiculo:extrair Extrai tabela por ano, mês e tipo
Possível então:
./fipecrawler veiculo:extrair
./fipecrawler veiculo:csv
Extraindo tabelas
./fipecrawler veiculo:extrair 2015 3 Caminhão
ou
./fipecrawler veiculo:extrair
o que pergunta:
--------------------------------------------------------------------------------
FIPE Crawler
veiculo:extrair
Extrai tabela por ano, mês e tipo
--------------------------------------------------------------------------------
Informe ano (ENTER para 2015)
[2015] 2015
[2014] 2014
[2013] 2013
[2012] 2012
[2011] 2011
[2010] 2010
[2009] 2009
[2008] 2008
[2007] 2007
[2006] 2006
[2005] 2005
[2004] 2004
[2003] 2003
[2002] 2002
[2001] 2001
>
Informe mês (1 a 12) (ENTER para 03)
[1 ] 1
[2 ] 2
[3 ] 3
[4 ] 4
[5 ] 5
[6 ] 6
[7 ] 7
[8 ] 8
[9 ] 9
[10] 10
[11] 11
[12] 12
>
Informe tipo (1 = carro, 2 = moto, 3 = caminhão) (ENTER para Carro)
[1] Carro
[2] Moto
[3] Caminhão
>
após, realiza a extração e salva em banco. Este procedimento é demorado, e depende da velocidade de sua conexão e disponibilidade do site da FIPE.
Você pode acompanhar o progresso nesta tela:
Recuperando tabelas para 03/2015...
Encontrada tabela 03/2015 !
Recuperando marcas para tabela id=[176] 03/2015, tipo=[1] Carro...
Encontradas 87 marcas para tabela id=[176] 03/2015, tipo=[1] Carro !
Recuperando modelos para 87 marcas -- tabela id=[176] 03/2015, tipo=[1] Carro...
87/87 [============================] 4562 modelos extraídos
Encontrados 4562 modelos para 87 marcas -- tabela id=[176] 03/2015, tipo=[1] Carro !
Recuperando veiculos para para 4562 -- tabela id=[176] 03/2015, tipo=[1] Carro...
6/4562 [>---------------------------] 36 veículos extraídos
Neste ponto os dados já podem ser vistos no banco de dados. Como a tabela
possui chave única para fipe_cod + anomod
, não há duplicação, mesmo se rodar
mais de uma vez para o mesmo período.
Exportando CSV tabelas
Executado da mesma forma que o veiculo:extrair
, mas solicita o
nome do arquivo de exportação.
./fipecrawler veiculo:csv 2015 3 Caminhão
ou
./fipecrawler veiculo:csv
Exemplo:
./fipecrawler veiculo:csv 2015 3 Caminhão
--------------------------------------------------------------------------------
FIPE Crawler
veiculo:csv
Exporta arquivo CSV por ano, mês e tipo
--------------------------------------------------------------------------------
Informe nome do arquivo (padrao 'fipe_201503_Caminhão.csv'):
--------------------------------------------------------------------------------
FIPE Crawler
veiculo:csv
Exporta arquivo CSV por ano, mês e tipo
--------------------------------------------------------------------------------
Recuperando veículos para tabela 03/2015, tipo=[3] Caminhão...
Encontrados 78 veículos para tabela 03/2015, tipo=[3] Caminhão
78/78 [============================] veículos exportados
Exportados 78 veículos para tabela 03/2015, tipo=[3] Caminhão !
Tentando salvar arquivo /var/www/Clientes/DiegoVeiga/Fipe/fipecrawler/fipe_201503_Caminhão.csv...
Criado arquivo /var/www/Clientes/DiegoVeiga/Fipe/fipecrawler/fipe_201503_Caminhão.csv !
Arquivo exemplo:
fipe_cod,tabela_id,anoref,mesref,tipo,marca_id,marca,modelo_id,modelo,anomod,comb_cod,comb_sigla,comb,valor
501034-9,176,2015,3,3,102,Agrale,5986,10000 2P (Diesel) (E5),32000,3,D,Diesel,134625
501034-9,176,2015,3,3,102,Agrale,5986,10000 2P (Diesel) (E5),2015,3,D,Diesel,119985
501034-9,176,2015,3,3,102,Agrale,5986,10000 2P (Diesel) (E5),2014,3,D,Diesel,115125
501034-9,176,2015,3,3,102,Agrale,5986,10000 2P (Diesel) (E5),2013,3,D,Diesel,109087
501034-9,176,2015,3,3,102,Agrale,5986,10000 2P (Diesel) (E5),2012,3,D,Diesel,102992
501027-6,176,2015,3,3,102,Agrale,4448,13000 Turbo 2P (Diesel),2012,3,D,Diesel,104763
501027-6,176,2015,3,3,102,Agrale,4448,13000 Turbo 2P (Diesel),2011,3,D,Diesel,97221
501027-6,176,2015,3,3,102,Agrale,4448,13000 Turbo 2P (Diesel),2010,3,D,Diesel,88952
501027-6,176,2015,3,3,102,Agrale,4448,13000 Turbo 2P (Diesel),2009,3,D,Diesel,82993
501027-6,176,2015,3,3,102,Agrale,4448,13000 Turbo 2P (Diesel),2008,3,D,Diesel,79413
501027-6,176,2015,3,3,102,Agrale,4448,13000 Turbo 2P (Diesel),2007,3,D,Diesel,72479
Versão WEB
Descompacte/clone o conteúdo na raiz de sua árvore web. Opcionalmente você pode criar um VirtualHost,
link simbólico ou alias para o diretório web/
.
Considerando que você utiliza o Apache2, necessita:
composer install
cd fipecrawler/config
cp config.dist.php config.php
Editar informações de acesso ao banco:
<?php
$db = array(
'host' => 'localhost',
'dbname' => 'fipe',
'user' => 'root',
'pass' => 'senha',
);
Considerando que foi descompatado na raiz, você terá a interface web navegando em http://localhost/fipecrawler/web.
Se quiser navegar na versão de desenvolvimento, utilize http://localhost/fipecrawler/web/index_dev.php.
Consultas
Verifique a tabela veiculo para a estrutura de dados.
Informações úteis podem ser conseguidas com as seguintes consultas:
- Lista de marcas
SELECT DISTINCT marca_id, marca FROM veiculo ORDER BY marca;
- Lista de marcas e modelos
SELECT DISTINCT marca_id, marca, modelo_id, modelo FROM veiculo ORDER BY marca, modelo;
- Filtrar por tipo (1 = carro, 2 = moto, 3 = caminhão)
-- Selecionando carros
SELECT * FROM veiculo WHERE tipo = 1;
- Lista de combustíveis
SELECT DISTINCT comb_sigla, comb FROM veiculo_completo ORDER BY comb_sigla, comb;