SpiderClub / haipproxy

:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis

Home Page:https://spiderclub.github.io/haipproxy/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

squid作为客户端时是否可以采用贪婪模式?

SylvanasSun opened this issue · comments

由于使用selenium来访问页面,所以不便于动态切换代理ip,故使用squid作为代理池客户端,但是发现squid很少会使用到分数最高的那些代理ip,而是会选取分数在中游的IP(大部分都在5~7分这个范围,但我看了validated队列里明明有10分甚至20分的ip却未被取到过),这就导致了在代理池正在校验期间(validated队列中暂存了很多待校验ip,但目标网站会屏蔽所有国外ip,在校验任务未完全完成时就会取到国外ip并被拒绝访问)进行请求的质量会很差,所以有没有办法将选择ip的算法切换到贪婪模式呢?

squid好像只能轮询和基于权重的轮询