derlinchen / spider_website

python爬虫，通过redis进行去重，通过IP动态代理、User-Agent进行反爬虫处理，同时利用Rule进行规则定义并使用Schedule定时器进行定时爬取。三方包：scrapy、schedule