不能对同一目标进行两次爬虫？

Question

zer0yu opened this issue 8 years ago · comments

cdxy · Answer 1 · Wed Mar 08 2017 23:38:11 GMT+0800 (China Standard Time)

为什么要爬两次

z3r0yu · Answer 2 · Thu Mar 09 2017 13:44:11 GMT+0800 (China Standard Time)

e...第一次网卡了结果不完全，数据被删除了。。。然后发现不能第二次爬

cdxy · Answer 3 · Thu Mar 09 2017 23:47:17 GMT+0800 (China Standard Time)

试试Scrapy的暂停和恢复采集功能。

z3r0yu · Answer 4 · Tue Mar 14 2017 16:53:24 GMT+0800 (China Standard Time)

ok,解决了，工具很赞