simonalexs / DY-DanMu

网站地址

Home Page:https://yijinyexing.xiaxichen.com/#/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

DY-DanMu

斗鱼弹幕抓取

架构.png

具体思路

根据斗鱼开发文档 https://open.douyu.com/source/api/63
进行websocket端抓取
协议.png
消息长度:4 字节小端整数,表示整条消息(包括自身)长度(字节数)。
消息长度出现两遍,二者相同。
消息类型:2 字节小端整数,表示消息类型。取值如下:
689 客户端发送给弹幕服务器的文本格式数据。
690 弹幕服务器发送给客户端的文本格式数据。
加密字段:暂时未用,默认为 0。保留字段:暂时未用,默认为 0。
websocket标准请查询
https://datatracker.ietf.org/doc/rfc6455/
中文版讲解
https://segmentfault.com/a/1190000005680323

##具体服务为三个
1. spider端:
连接websocket后实时获取弹幕信息通过gorutine连接rpc服务器进行存储
2. RPC-server端:
连接数据库进行数据存储 查询工作
3. Web端:
实现api接口进行参数解析 连接rpc进行查询

协议.png

About

网站地址

https://yijinyexing.xiaxichen.com/#/

License:Apache License 2.0


Languages

Language:Go 100.0%