已经一星期了爬不到数据
opfanswyx opened this issue · comments
我是一台linux服务器上运行的：
nodejs -v v14.8.0
hexo-douban 1.1.3
每天试几次，持续一周了，抓不到任何数据
INFO Validating config
INFO Start processing
INFO 0 books have been loaded in 1254 ms, because you are offline or your network is bad
INFO Generated: books/index.html
不好意思，工作比较忙，大学时候搞的玩具已经无力维护了～ 😭
不好意思，工作比较忙，大学时候搞的玩具已经无力维护了～ 😭
好的，没事，只是问问哈
不好意思，工作比较忙，大学时候搞的玩具已经无力维护了～ 😭
我把node回退了v12.18.0后爬到了数据，貌似可能更新的版本存在兼容性问题
一样爬不到：
0 books have been loaded in 2791 ms, because you are offline or your network is bad
一样爬不到：
0 books have been loaded in 2791 ms, because you are offline or your network is bad
我把node回退了v12.18.0后爬到了数据,可以正常使用了。
谢谢，我研究下怎么回退
一样爬不到：
0 books have been loaded in 2791 ms, because you are offline or your network is bad我把node回退了v12.18.0后爬到了数据,可以正常使用了。
的确回退后就能爬去到数据了，可是每次都要回退好麻烦诶
我发现可以使用yarn add hexo-douban来解决。yarn会自动升级hexo-douban依赖的，已经不能使用的包。
一样爬不到：
0 books have been loaded in 2791 ms, because you are offline or your network is bad我把node回退了v12.18.0后爬到了数据,可以正常使用了。
的确回退后就能爬去到数据了，可是每次都要回退好麻烦诶
@hayschan 我之前也是v12.18.0 就是更新了下node ，
现在抓不到了
INFO 0 books have been loaded in 987 ms, because you are offline or your network is bad
INFO 0 movies have been loaded in 1040 ms, because you are offline or your network is bad
希望可以改善下
更新了一波hexo-douban@2.0.0 ，可以先尝试下，如果有问题可以重新再反馈下，这个issue先关了。
Hi，感谢作者提供的豆瓣插件，我是多年的老用户了。
冒昧基于作者的1.1.3版本魔改了一版1.1.3plus（因为我服务器直接抓取豆瓣好像还挺稳定的，后续基于公用服务抓取豆瓣反而抓不到）
"dependencies": {
...
"hexo-douban": "git+https://github.com/icheer/hexo-douban.git"
...
}这样修改package.json，（最好删掉node_modules/hexo-douban目录），然后npm install一下（如果是linux服务器，请确保已经安装过git了 yum install git -y），就可以通过hexo douban -h命令抓取豆瓣信息了。
增加了豆瓣音乐的支持，详见readme文档。
这是我一直期盼的音乐页面demo： http://icheer.me/albums/
[root@VM-4-5-centos icheerme]# hexo douban -h
INFO Start processing
想读: 64
在读: 34
读过: 98
INFO 196 books have been loaded in 18522 ms
想看: 45
在看: 11
看过: 260
INFO 316 movies have been loaded in 16623 ms
想听: 0
在听: 0
听过: 0
INFO 0 albums have been loaded in 20801 ms, because you are offline or your network is bad
想玩: 1
在玩: 2
玩过: 24
INFO 27 games have been loaded in 2015 ms
[root@VM-4-5-centos icheerme]#
[root@VM-4-5-centos icheerme]# 有时候不太顺利抓取到0条，可能因为翻页抓得太频繁了，可能被限流了。。过一会再单独抓一下它吧。。^C
[root@VM-4-5-centos icheerme]#
[root@VM-4-5-centos icheerme]# hexo douban -a
INFO Start processing
想听: 25
在听: 28
听过: 68
INFO 121 albums have been loaded in5172 ms