基于hexo-douban@1.1.3魔改了一下，支持豆瓣音乐信息抓取
icheer opened this issue · comments
Hi，感谢作者提供的豆瓣插件，我是多年的老用户了。
冒昧基于作者的1.1.3版本魔改了一版1.1.3plus（因为我服务器直接抓取豆瓣好像还挺稳定的，后续基于公用服务抓取豆瓣反而抓不到）
"dependencies": {
...
"hexo-douban": "git+https://github.com/icheer/hexo-douban.git"
...
}这样修改package.json，（最好删掉node_modules/hexo-douban目录），然后npm install一下（如果是linux服务器，请确保已经安装过git了 yum install git -y），就可以通过hexo douban -h命令抓取豆瓣信息了。
增加了豆瓣音乐的支持，详见readme文档。
这是我一直期盼的音乐页面demo： http://icheer.me/albums/
[root@VM-4-5-centos icheerme]# hexo douban -h
INFO Start processing
想读: 64
在读: 34
读过: 98
INFO 196 books have been loaded in 18522 ms
想看: 45
在看: 11
看过: 260
INFO 316 movies have been loaded in 16623 ms
想听: 0
在听: 0
听过: 0
INFO 0 albums have been loaded in 20801 ms, because you are offline or your network is bad
想玩: 1
在玩: 2
玩过: 24
INFO 27 games have been loaded in 2015 ms
[root@VM-4-5-centos icheerme]#
[root@VM-4-5-centos icheerme]# 有时候不太顺利抓取到0条，可能因为翻页抓得太频繁了，可能被限流了。。过一会再单独抓一下它吧。。^C
[root@VM-4-5-centos icheerme]#
[root@VM-4-5-centos icheerme]# hexo douban -a
INFO Start processing
想听: 25
在听: 28
听过: 68
INFO 121 albums have been loaded in5172 ms
从可用性上看，还是用后台统一爬取的方法更稳妥点，出现的问题都能随时复现、可以热更新、数据也都有缓存、响应时间也更快，还是建议先用新架构。
你说的新方案拉不到数据的 case 具体是啥样的，可以具体反馈我分析下。
至于音乐数据的提取我会基于你提供的代码改造下，近期考虑集成进后台服务，感谢提供😏。
具体现象就是长期的{"msg":"当前用户录入中","success":false}，改用你的id就能成功得到json。我的id可能有毒😂
id 多少，我看下，理论上不会很久。
20柒642玖
早说啊🤔，真是豆瓣老用户，条目有点多，中间出了个bug，导致录入中止了。。。我先修下。。。
修好了，可以瞅瞅。。。
修好了，可以瞅瞅。。。
可以，服务端有缓存速度贼快！