brianway / webporter

基于 webmagic 的 Java 爬虫应用

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

没找到authorization字段

out0fmemory opened this issue · comments

如题,只找到了login字段,但是不对,用起来就401

开浏览器调试,点关注者,下拉刷新就有了,相对 URL 是 /followeesauthorization 是 request headers 里一个名为 authorization 的 HTTP 请求头

@brianway thx. 已经可用了,建议在readme里说明一下,否则用的人可能一头雾水,找半天找不到>_<

谢谢建议。不过基本的抓包调试就不写在 README 里了,而且这个机制不知道知乎哪天会改,知乎没改之前这个 issue 我不 close,给大家看到就行了。

commented

是已经改了吗?怎么在/followees 的request里看不到这个header...

/followees 这个我也是只看到login 木看到authorization 。 请明示下

没有改啊....我用的 Chrome 浏览器,Windows/Linux 下 F12, Mac 下 Command+Option+i 调出浏览器调试窗口。登录知乎,随便进一个人的主页,点他的关注者,就能看到 /followees 的请求头(Request Headers)有 authorization 字段。
我刚在 Safari 浏览器下也试了,没问题。

这个字段就是知乎服务器自定义的一个 HTTP header,和 Accept-Encoding/User-Agent 这样的通用 HTTP header 是一样的啊,只不过这个头是知乎自己加的,不是所有网站通用的。没找到的看看是不是在调试窗漏看了什么信息。

2016.12.28

/followees下找到了authorization ,眼拙啊。刚才应该是进入的页面不正确

按照楼上说法,找到关注者页面-谷歌浏览器F12调试-选择network-刷新-只找到了/followers

,甚至连/follwees都没找到。
新人求教

https://www.zhihu.com/people/ma-xiao-zhou-98/followers 只看到follower J接口,并没有看到folowee,也,没看到authorization 字段,楼主是不是知乎的接口改了?

知乎还没改啊,自己用 chrome 调试抓下包吧。抓包相关和本项目无关,就不展开了....
这个问题我不是很想回复了,这应该是最后一次回复。
我的截图如下(时间:2017.3.27):

followee 访问接口的抓包截图:
image

authorization 字段在 HTTP 请求头的的抓包截图:
image

以后接口即使改了,亦可以通过类似方法解决。

2017.3.27

谢谢您的回复,能不能说下具体操作,我的操作是登录,点击我的主页,点击右侧关注者,F12,刷新。我的截图:
1490585205(1).png

原来要点下,XHR 谢谢您!

对比我俩的截图,有两点不同:

  1. 我的第二行的 Preserve log 是勾选的,你没勾选
  2. 我的第三行点了 XHR 对响应类型进行筛选

其他貌似没有特别的操作,应该这样就行了。

可以了,程序已经在抓取了,我研究下,哈哈,你这个项目很有意思。最近也在研究elk顺便分析爬取你的数据,感谢您!

楼主,知乎改版了 抓不到数据了、、、、、、、

{"error":{"redirect":"https://www.zhihu.com/account/unhuman?type=unhuman&message=%E7%B3%BB%E7%BB%9F%E6%A3%80%E6%B5%8B%E5%88%B0%E6%82%A8%E7%9A%84%E5%B8%90%E5%8F%B7%E6%88%96IP%E5%AD%98%E5%9C%A8%E5%BC%82%E5%B8%B8%E6%B5%81%E9%87%8F%EF%BC%8C%E8%AF%B7%E8%BE%93%E5%85%A5%E4%BB%A5%E4%B8%8B%E5%AD%97%E7%AC%A6%E7%94%A8%E4%BA%8E%E7%A1%AE%E8%AE%A4%E8%BF%99%E4%BA%9B%E8%AF%B7%E6%B1%82%E4%B8%8D%E6%98%AF%E8%87%AA%E5%8A%A8%E7%A8%8B%E5%BA%8F%E5%8F%91%E5%87%BA%E7%9A%84","code":40352,"message":"系统检测到您的帐号或IP存在异常流量,请输入以下字符用于确认这些请求不是自动程序发出的"}}
是不是不行了。。

{"error": {"message": "请求头或参数封装错误", "code": 100, "name": "AuthenticationInvalidRequest"}}
退出登陆之后提示这个了

image
楼主现在知乎HTTP请求头里面没有authorization 字段了。你有时间看看吗

改版了么,为啥我没有找到,有没交流群可以指点一下,谢谢

commented

开浏览器调试,点关注者,下拉刷新就有了,相对 URL 是 /followeesauthorization 是 request headers 里一个名为 authorization 的 HTTP 请求头

没找到你说那个

现在最新的followees请求头里面没有了 请教各位还有什么办法吗 用cookie可行吗

commented

兄弟 可否详细赐教一下 之前的那个认证我看是OAuth的 但是现在不知道是什么方式呀 是可以加 但是加什么认真方式呢 比如Basic的 或者OAuth的

commented

现在谷歌和苹果变成authority这个了,修改一下json配置文件就行

改版了,,莫得法

commented

zhihu已经改版了,找不到相应的头部权限字段了。