custom_crawler
-
百度企业信用-国家企业公示系统爬虫
-
支持版本:
下载安装
- 下载源码:
https://github.com/pythonyhd/custom_crawler
- 安装依赖:
pip install -r requirements.txt使用方法
* 首先您需要获取一批搜索关键词放到redis数据库当中
* 程序会根据关键词进行搜索，获取全部数据
* 本项目支持MySQL数据库，mongodb数据库，MySQL支持异步存储
问题反馈
任何问题欢迎在Issues 中反馈。
你的反馈会让此项目变得更加完美。
贡献代码
本项目依然不够完善，如果发现bug或有新的功能添加，请在Issues中提交bug(或新功能)描述，在确认后提交你的代码。
TODO
- 兼容py2