本地环境下可以正常使用superAgent向豆瓣网发起请求，部署后无法获取主页，会变为403
salchemist opened this issue · comments
superAgent
.get(bookUrl)
.set({
Referer: "http://book.douban.com/",
'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:39.0) Gecko/20100101 Firefox/39.0'
}).end(function (err, res) {
console.log('begin parsing',err);
})
在部署到实例后会获得403错误的页面
403 说明请求已到达豆瓣的服务器，对方返回了一个错误，应该是和对方的防爬虫策略有关，抱歉这个我们帮不上什么忙。
403 是指 服务器收到请求但拒绝提供服务。建议使用 douban 的 API 来获取数据。
我这边的猜测是不是对leanCloud的ip端进行的封锁，因为同样的代码在本地使用lean up调试的时候是能够正常获取信息的。
我们这边没有做任何限制，可能是对方的限制。