Python实时爬取斗鱼弹幕

简介: 实现目标:输入斗鱼房间号实时获取弹幕信息,实现效果如下:douyu.gif逻辑梳理首先说明下斗鱼是开放了弹幕API的,可以直接去他们开发者论坛查看文档,按照文档中要求一步一步的来就好了,我这边就简单梳理下:建立两个线程:一个与弹幕服务器建立连接然后获取数据,一个定时发送心跳信息给弹幕服务器保持连接。
img_df1e6478bc17e7e567e623d7aff3e918.png

实现目标:

  • 输入斗鱼房间号实时获取弹幕信息,实现效果如下:
    img_ab195bcc9bb0203cfdf6d3bda7c5892c.gif
    douyu.gif

逻辑梳理

  • 首先说明下斗鱼是开放了弹幕API的,可以直接去他们开发者论坛查看文档,按照文档中要求一步一步的来就好了,我这边就简单梳理下:
  • 建立两个线程:一个与弹幕服务器建立连接然后获取数据,一个定时发送心跳信息给弹幕服务器保持连接。
建立连接
  1. 通过TCP协议连接到弹幕服务器;

IP 地址:openbarrage.douyutv.com 端口:8601

  1. 向弹幕服务器发送登录请求,登录弹幕服务器,消息格式type@=loginreq/roomid@=房间号/,不需要账号密码;
  2. 登陆成功之后服务器会给你返回一个登录成功信息,这部分不用管,继续向服务器发送一个进入弹幕分组请求,格式type@=joingroup/rid@=房间号/gid@=-9999/,gid使用-9999就好,表示海量弹幕模式;
  3. 接下来接收消息就好了,当然服务器返回的不止弹幕信息,还包括礼物/特殊人物进入房间等消息,这部分可以通过返回消息的type进行判断,选择自己需要的就好,详细的参见文档;
心跳消息
  • 为保持连接需要每隔段时间向弹幕服务器发送心跳消息,长时间未收到心跳消息服务器就会断开连接了,心跳消息格式:type@=keeplive/tick@=1439802131/,其中tick为当前秒级时间戳。

代码部分

# -*- coding:utf-8 -*-
import socket
import re
import time
import struct
import threading

def connect():
    '''
    第三方客户端通过 TCP 协议连接到弹幕服务器(依据指定的 IP 和端口); 
    第三方接入弹幕服务器列表:
    IP 地址:openbarrage.douyutv.com 端口:8601
    '''
    print '-----*-----DouYu_Spider-----*-----\n'
    host = socket.gethostbyname("openbarrage.douyutv.com")
    port = 8601
    global s
    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    s.connect((host,port))

def send_msg(msg):
    data_length = len(msg) + 8
    code = 689
    msgHead = struct.pack('<i',data_length) \
          + struct.pack('<i',data_length) + struct.pack('<i',code)
    s.send(msgHead)
    sent = 0
    while sent < len(msg):
        tn = s.send(msg[sent:])
        sent = sent + tn

def danmu(room_id):
    '''
    1.客户端向弹幕服务器发送登录请求
    2.客户端收到登录成功消息后发送进入弹幕分组请求给弹幕服务器
    '''
    login = 'type@=loginreq/roomid@=%s/\0'%room_id
    login = login.encode('utf-8')
    send_msg(login)
    joingroup = 'type@=joingroup/rid@=%s/gid@=-9999/\0'%room_id
    joingroup = joingroup.encode('utf-8')
    send_msg(joingroup)
    while True:
        content = s.recv(1024)
        if judge_chatmsg(content):
            nickname = nick_name(content)
            chatmsg = chat_msg(content)
            print '%s : %s'%(nickname,chatmsg)
        else:
            pass


def keep_alive():
    '''
    客户端每隔 45 秒发送心跳信息给弹幕服务器
    '''
    while True:
        msg = 'type@=keeplive/tick@=%s/\0'%str(int(time.time()))
        send_msg(msg)
        time.sleep(45)

def nick_name(content):
    '''
    弹幕消息:
    type@=chatmsg/rid@=301712/gid@=-9999/uid@=123456/nn@=test /txt@=666/level@=1/
    判断type,弹幕消息为chatmsg,txt为弹幕内容,nn为用户昵称
    '''
    pattern = re.compile(r'nn@=(.*)/txt@')
    nickname = pattern.findall(content)[0]
    return nickname

def chat_msg(content):
    '''
    弹幕消息:
    type@=chatmsg/rid@=301712/gid@=-9999/uid@=123456/nn@=test /txt@=666/level@=1/
    判断type,弹幕消息为chatmsg,txt为弹幕内容,nn为用户昵称
    '''
    pattern = re.compile(r'txt@=(.*)/cid@')
    chatmsg = pattern.findall(content)[0]
    return chatmsg

def judge_chatmsg(content):
    '''
    判断是否为弹幕消息
    '''
    pattern = re.compile(r'type@=(.*)/rid@')
    data_type = pattern.findall(content)
    try:
        if data_type[0] == 'chatmsg':
            return True
        else:
            return False
    except Exception, e:
        return False



if __name__ == '__main__':
    connect()
    t1 = threading.Thread(target=danmu,args=(2947432,))
    t2 = threading.Thread(target=keep_alive)
    t1.start()
    t2.start()

最后

斗鱼提供的文档已经是一年前的了,里面传回的消息内容增加了不少,但整体逻辑还是没变,我这边只取了弹幕里面的昵称和文本内容,其他的消息各位可以先打印出来看了再写正则表达式去匹配就好。


我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=4smxcktb7utn

目录
相关文章
|
3月前
|
自然语言处理 数据挖掘 开发者
Python腾讯视频16978条弹幕,发现弹幕比剧还精彩
Python腾讯视频16978条弹幕,发现弹幕比剧还精彩
52 4
Python腾讯视频16978条弹幕,发现弹幕比剧还精彩
|
4月前
|
数据采集 Web App开发 存储
Python-数据爬取(爬虫)
【7月更文挑战第24天】
80 7
|
4月前
|
数据采集 机器学习/深度学习 算法
Python-数据爬取(爬虫)
【7月更文挑战第23天】
59 5
|
4月前
|
数据采集 存储 Web App开发
Python-数据爬取(爬虫)
【7月更文挑战第15天】
168 3
|
5月前
|
Web App开发 Python Windows
经验大分享:PYTHON爬取66影视的电影下载链接,有搜索功能
经验大分享:PYTHON爬取66影视的电影下载链接,有搜索功能
101 2
|
5月前
|
存储 XML 数据处理
Python网络实践:去哪儿旅游数据爬取指南
Python网络实践:去哪儿旅游数据爬取指南
137 1
|
5月前
|
数据采集 JSON 算法
使用Python爬取华为市场APP应用进行分析
这个网站也是作者最近接触到的一个APP应用市场类网站。讲实话,还是蛮适合新手朋友去动手学习的。毕竟爬虫领域要想进步,还是需要多实战、多分析!该网站中的一些小细节也是能够锻炼分析能力的,也有反爬虫处理。甚至是下载APP的话在Web端是无法拿到APK下载的直链,需要去APP端接口数据获取
|
5月前
|
Python 数据采集 安全
淘宝商品评论数据爬取:Python实战指南
淘宝商品评论数据的自动爬取可以为市场分析和用户行为研究提供宝贵的信息资源。然而,这一过程需要严格遵守法律法规,尊重数据的版权和隐私。通过合理利用Python的网络爬虫技术,可以在遵循道德规范的前提下,高效地完成数据采集任务。 通过本文的指南,希望你能对淘宝商品评论数据的爬取有一个清晰的认识,并能够安全、合法地进行数据采集。
|
5月前
|
程序员 Python
老程序员分享:python爬取电影网站信息并写入文件
老程序员分享:python爬取电影网站信息并写入文件
49 0
|
5月前
|
XML 数据采集 存储
经验大分享:python爬取喜马拉雅节目生成RSSFeed
经验大分享:python爬取喜马拉雅节目生成RSSFeed
69 0