xiaxichen / qccspider

企查查app每日新增企业抓取,可以进行每日的增量抓取、企业数据、工商数据等等。

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

#企查查每日新增企业数据抓取

  • 尚未完成的工作:
    • redis数据转存mysql
    • 代理池尚未设置
    • 企查查限制,每分钟请求大概不能超过30次,所有功能未加并发,请不要使用代理并发,会封账户的
    • 有些工作尚未完成,需要自己进行继续开发,可以找我要app的脱壳源代码,继续分析。
  • 已经完成工作
    • 每天定时抓取
    • 自动刷新token
    • 省份、市的所有代码
    • token自动刷新
    • 根据地址自动将省份、市、区县进行分割
    • 所有数据存到redis里面
    • 可以自动登录,账号需要独立
    • getnewdata.py 项目主入口
    • other放城市和省份代码
    • common公用方法
    • getmoredata.py 获取更多的企业数据,包括经营范围、联系方式等
    • getnewdata.py 获取每日新增企业数据
    • 摒弃以前所用方法,采用新的思路 话不多说,看图

About

企查查app每日新增企业抓取,可以进行每日的增量抓取、企业数据、工商数据等等。


Languages

Language:Python 100.0%