ip代理池
介绍文档
- requests爬取免费代理，flask提供web接口，redis存储代理
- 最新版本V1.0
- 自动抓取ip
- 对指定url进行筛选ip，实现http与https分类并区分代理质量
- 提供web接口返回高质量的代理
下载安装
- 下载代码
git clone https://github.com/bbbi/proxyPool.git
or
https://github.com/bbbi/proxyPool/archive/master.zip- 安装依赖
pip install -r requirements.txt- 设置settings.py
# redis数据库设置
REDIS_HOST = "127.0.0.1"
REDIS_PORT = 6379
REDIS_DB = 0
# API接口设置
API_HOST = '127.0.0.1'
API_PORT = 5000- 启动
python3 run.py
# 启动成功的话会有4个进程分别启动不同的服务补充
- getter/proxyManager.py 中可以自行添加get静态函数
- 任何问题欢迎在Issues提出
- 本项目仅作为基本的代理池，不接收特有功能