可以加入断点续传的功能么？
lzhou-xyz opened this issue · comments
现在代码抓着抓着，有时候因为网络原因就断了，或者服务器的问题断了，能加入中断之后继续的功能么？还是说本来就有这个功能？
现在有一定的容错，主要是对于图片。如果抓着抓着断了，重启抓取，对于本地已有的图片不会再抓，其他的文本数据还是会抓
自测占带宽或网络问题主要还是抓图太耗时，其他的数据重抓一次开销也不大
感谢作者，已经保存成功了。。。把重试调到50，等待调到1500，避免了很多网络的问题。。。给您点赞！！！
在人人已经改版，绝大部分走 json API 获取，且只能抓自己数据的情况下，有抓取图片自动跳过已经可以满足了