你好,突破50页限制这块的代码没看懂?请问是基于什么逻辑去突破的?微博本身搜索接口限制就是50页,51页就是返回第一页了
tcc0lin opened this issue · comments
tcc0lin commented
月小水长 commented
刚又试了下,我这确实是可以爬取 50 页之后的,微博搜索接口一直在变化,你可以拿代码试下,它这个反爬很简单,就拿前一页做 Referer 就行
Faded commented
表示也没看懂突破限制那块,后端的页数限制目前根本没啥解决办法,就像那位老哥说的,当你翻到第50页以后又给你跳转回第一页去了,你认为正常的51页其实是错觉。。
技术“拆解”官 commented
表示也没看懂突破限制那块,后端的页数限制目前根本没啥解决办法,就像那位老哥说的,当你翻到第50页以后又给你跳转回第一页去了,你认为正常的51页其实是错觉。。
因为微博只给你50页的数据,你再翻也是重复数据。