eternal-flame-AD / mafengwo

一个基于scrapy框架编写的马蜂窝旅游网用户旅游路线爬虫,核心代码不到50行!

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

mafengwo

一个基于scrapy框架编写的马蜂窝用户旅游路线爬虫,核心代码不到50行!

一天成功爬取25万用户足迹~

使用方法:

$pip install -r requirements.txt
$scrapy crawl path -o dests.json

PS: 虽然马蜂窝还在很辣鸡地使用http,还是不要过于密集地爬取,象征性地给服务器0.1s的休息时间

About

一个基于scrapy框架编写的马蜂窝旅游网用户旅游路线爬虫,核心代码不到50行!


Languages

Language:Python 100.0%