基于taonado和redis实现动态代理池
Geek Repo:Geek Repo
Github PK Tool:Github PK Tool
该代理池主要分两个进程，一个是定期测试IP，剔除无效IP，另一个是定期检查IP数量，不足就进行抓取，否则就不行动，里面用到了线程池测试IP，以及添加了多个网站的IP抓取