sczhengyabin / QingShuiHePan_Spider

电子科技大学论坛 清水河畔 爬虫

清水河畔爬虫

电子科技大学官方论坛

Jupyter-Notebook形式，方便学习使用

功能

1. 模拟登录
2. 根据自增UID，爬取全站用户信息
3. 根据用户信息，爬取全站发帖基本信息（标题，查看数，回复数）

注意

经测试，清水河畔并没有做反爬虫处理，为了不影响他人使用，请在爬虫的时候降低速度（任务管理器查看，网速小于1Mbps较为合适）

想直接看结果，不想自己跑数据的看这里

可直接与代码结合分析的数据下载链接
Download from OneDrive