根据斗鱼开发者文档获取斗鱼弹幕

简介: 根据斗鱼开发者文档开发相关弹幕抓取。

架构.png
具体思路
根据斗鱼开发文档 https://open.douyu.com/source/api/63
进行websocket端抓取
协议.png
消息长度:4 字节小端整数,表示整条消息(包括自身)长度(字节数)。
消息长度出现两遍,二者相同。
消息类型:2 字节小端整数,表示消息类型。取值如下:
689 客户端发送给弹幕服务器的文本格式数据。
690 弹幕服务器发送给客户端的文本格式数据。
加密字段:暂时未用,默认为 0。保留字段:暂时未用,默认为 0。
websocket标准请查询
https://datatracker.ietf.org/doc/rfc6455/
中文版讲解
https://segmentfault.com/a/1190000005680323

具体服务为三个

  1. spider端:

连接websocket后实时获取弹幕信息通过gorutine连接rpc服务器进行存储

  1. RPC-server端:

连接数据库进行数据存储 查询工作

  1. Web端:

实现api接口进行参数解析 连接rpc进行查询
协议.png

git地址

目录
相关文章
|
SQL 关系型数据库 MySQL
MySQL 之 LEFT JOIN 避坑指南
MySQL 之 LEFT JOIN 避坑指南
716 1
|
9月前
|
存储 人工智能 Android开发
为什么微信发送的APP安装不了,.apk转化为.apk.1
微信发送的APP文件常被改为.apk.1格式导致无法安装,推荐使用夸克或QQ浏览器解决。
1229 14
|
人工智能 自然语言处理 算法
云端问道11期实践教学-创建专属AI助手
本次分享意在帮助用户更加全面、深入地了解百炼的核心产品能力,并通过实际操作学会如何快速将大模型与自己的系统及应用相结合。主要包括以下三个方面: 1. 阿里云百炼产品定位和能力简介 2. 知识检索 RAG 智能体应用能力和优势 3. 最佳落地案例实践分享
767 56
|
9月前
|
Kubernetes 监控 调度
解决在Kubernetes中DaemonSet无法在master节点调度的问题
通过以上步骤和注意事项,您能够有效解决DaemonSet不能在Kubernetes master节点上调度的问题,同时保证集群的高可用性和稳健性。
323 0
|
人工智能 供应链 搜索推荐
2025年中国快消品企业CRM选型指南
本文围绕2025年中国快消品企业CRM选型展开。快消行业数字化转型加速,CRM至关重要,但企业转型面临诸多困境。文章提出CRM选型的常规标准,并对比纷享销客、用友、勤策等五家主流服务商。
|
人工智能 文字识别 自然语言处理
1.6K star!这个开源文本提取神器,5分钟搞定PDF/图片/Office文档!
Kreuzberg 是一个基于 Python 的文本提取库,支持从 PDF、图像、Office 文档等 20+ 格式中提取文本内容。采用 MIT 开源协议,具备本地处理、异步架构、智能 OCR 等特性,特别适合需要隐私保护的文档处理场景。
1540 1
|
数据采集 数据可视化 数据挖掘
利用 Jupyter 实现自动化报告生成 展示如何结合 Jupyter 和 Python 库
【8月更文第29天】为了创建自动化报告,我们可以利用 Jupyter Notebook 结合 Python 的强大库如 Pandas、Matplotlib 和 Seaborn 来处理数据、制作图表,并使用 Jinja2 模板引擎来生成 HTML 报告。这种方式非常适合需要定期生成相同类型报告的情况,比如数据分析、业务报表等。
1133 1
|
存储 芯片 内存技术
51单片机--AT24C02数据存储
51单片机--AT24C02数据存储
596 0
|
存储 缓存 JavaScript
基于AutoJs7实现的薅羊毛App专业版源码大分享
基于AutoJs7实现的薅羊毛App专业版源码大分享
377 1
|
传感器 安全 物联网
STM32方向研究报告
STM32方向研究报告
550 0

热门文章

最新文章