pkeropen / qijia-spider

用于爬取Qijia网的装修公司信息，基于scrapy

用于爬去Qijia网的装修公司信息，基于scrapy

---

基于scrapy，selenium启动webdriver的爬虫方式。由于大部分大型网站都做好反爬机制，加入IP代理池。

所需环境：

• Mysql
• Redis（用于IP代理池存储机制）
• Python3

运行方式： 运行项目根目录main.py

---

参考资料： https://www.jianshu.com/p/5355b467d414