Cg110778 / douban_fullbook_spider

Scrapy爬取豆瓣读书全站

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

douban_fullbook_spider

scrapy 爬取豆瓣读书

设置DOWNLOAD_DELAY = 2 豆瓣防爬机制爬取时间大于等于2不会被封 settings 设置JOBDIR='share' 断点重爬

About

Scrapy爬取豆瓣读书全站


Languages

Language:Python 100.0%