Python3Spiders / WeiboSuperSpider

微博爬虫及配套工具箱,微博用户、话题、评论采集一网打尽。图片下载、情感分析,地理位置、关系网络、spammer 机器人识别等功能应有尽有。Docs:https://buyixiao.github.io/blog/weibo-super-spider.html 配套可视化网站:https://buyixiao.github.io/blog/one-stop-weibo-visualization.html

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

你好,突破50页限制这块的代码没看懂?请问是基于什么逻辑去突破的?微博本身搜索接口限制就是50页,51页就是返回第一页了

tcc0lin opened this issue · comments

刚又试了下,我这确实是可以爬取 50 页之后的,微博搜索接口一直在变化,你可以拿代码试下,它这个反爬很简单,就拿前一页做 Referer 就行

commented

表示也没看懂突破限制那块,后端的页数限制目前根本没啥解决办法,就像那位老哥说的,当你翻到第50页以后又给你跳转回第一页去了,你认为正常的51页其实是错觉。。

表示也没看懂突破限制那块,后端的页数限制目前根本没啥解决办法,就像那位老哥说的,当你翻到第50页以后又给你跳转回第一页去了,你认为正常的51页其实是错觉。。

因为微博只给你50页的数据,你再翻也是重复数据。