berluo / zhihu_spider

爬取知乎用户

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool



### 多线程知乎爬虫

目标

使用python爬取知乎十万级别的用户数据


功能

  • 模拟登陆
  • server酱通知
  • 邮件发送csv数据
  • 自动注册qq账号
  • 多线程
  • 分布式
  • JDBC连接池
  • redis缓存队列
  • 容错机制
  • csv
  • ip代理池
  • 图像下载
  • api修改

About

爬取知乎用户


Languages

Language:JavaScript 88.6%Language:Jupyter Notebook 9.4%Language:Python 2.0%Language:HTML 0.0%