基于scrapy,selenium启动webdriver的爬虫方式。由于大部分大型网站都做好反爬机制,加入IP代理池。
所需环境:
- Mysql
- Redis(用于IP代理池存储机制)
- Python3
运行方式: 运行项目根目录main.py
用于爬取Qijia网的装修公司信息,基于scrapy
基于scrapy,selenium启动webdriver的爬虫方式。由于大部分大型网站都做好反爬机制,加入IP代理池。
所需环境:
- Mysql
- Redis(用于IP代理池存储机制)
- Python3
运行方式: 运行项目根目录main.py
用于爬取Qijia网的装修公司信息,基于scrapy