国标GB28181协议客户端开发(四)实时视频数据传输

本文涉及的产品
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
云解析 DNS,旗舰版 1个月
简介: 国标GB28181协议客户端开发(四)实时视频数据传输

国标GB28181协议客户端开发(四)实时视频数据传输

本文是《国标GB28181协议设备端开发》系列的第四篇,介绍了实时视频数据传输的过程。通过解读INVITE报文中的SDP信息,读取和解析视频文件或图片文件,进行数据编码,以及h264封装为PS格式,最终通过RTP数据发送,实现了GB28181协议设备端的视频传输功能。本文将逐步详细介绍每个模块的实现步骤和相关技术要点,帮助读者理解和应用GB28181协议进行实时视频传输。

一、INVITE报文的SDP信息解读

在GB28181协议中,在实时音视频传输过程中,使用INVITE报文携带SDP(Session Description Protocol)信息。SDP信息描述了会话的属性和参数,包括媒体类型、传输协议、编解码器、网络地址等。下面是一个示例INVITE报文的SDP内容,并对其中的每一项进行详细解释:

v=0
o=34020000002000000001 0 0 IN IP4 192.168.1.10
s=Play
c=IN IP4 192.168.1.10
t=0 0
m=video 40052 RTP/AVP 96
a=recvonly
a=rtpmap:96 PS/90000
y=0358902090
f=
  1. v=0
    表示SDP协议版本号,此处为0。
  2. o=34020000002000000001 0 0 IN 192.168.1.10
    o字段标识了会话的发起者和会话的唯一标识。
    "34020000002000000001" 表示该会话会话发起者的SIP ID。
    0 0 表示会话的起始和结束时间戳。
    IN IP4 192.168.1.10 表示会话的网络地址,这里为IPv4地址。
  3. s字段为会话的名称或描述,此处为"Play"表面是实时音视频
  4. c=IN IP4 192.168.1.10
    c字段指定了会话的连接信息。
    IN 表示网络类型为Internet。
    IP4 192.168.1.10 表示会话的IPv4地址。
  5. t=0 0
    t字段指定了会话的时间信息。
    0 0 表示会话的起始和结束时间都为0,即持续时间未定义。
  6. m=video 40052 RTP/AVP 96
    m字段定义了会话中的媒体类型和相关参数。
    video 表示媒体类型为视频。
    40052 表示媒体流的传输端口号。
    RTP/AVP 表示传输协议为RTP,使用AVP(Audio-Visual Profile)配置。
    96 表示媒体流使用编号96表示。
  7. a=rtpmap:96 PS/90000
    a字段包含了媒体流的属性。
    rtpmap:96 表示将编号为96的负载类型。
    PS 表示使用MPEG-PS格式进行数据封装。
    90000 表示时钟速率,即每秒的时钟滴答数。
  8. y=0358902090
    y字段为十进制整数字符串,表示SSRC值
  9. f=
    f字段:f= v/编码格式/分辨率/帧率/码率类型/码率大小a/编码格式/码率大小/采样率
    这里并没有设置f字段,由数据发送端来填充

二、视频文件或图片文件的读取、解析和编码

为了进行视频数据传输,我们首先需要读取和解析视频文件或图片文件。我们需要使用相应的库或工具,从文件中读取视频或图片数据,并进行解析,以获取关键的视频帧或图像数据,为后续的编码和封装做准备。

三、h264封装PS

在GB28181协议中,视频数据通常以MPEG-PS(MPEG Program Stream)格式进行封装。需要将经过编码的视频数据进行PS格式的封装,包括添加包装头和起始码,然后再进一步封装RTP。

以下是使用C++将H.264的NALU封装为MPEG-PS格式的主要过程(仅展示部分代码):

// 将H.264的NALU列表封装为MPEG-PS格式
void MakeMPEGPS(unsigned char* h264Data, int h264Length,
    unsigned char* psData)
{
    int totalPES = (h264Length + MAX_PES_LENGTH - 1) / MAX_PES_LENGTH; // 计算总的PES包数
    int remainingBytes = h264Length; // 剩余待处理的字节数
    // MPEG-PS包头
    unsigned char mpegPSHeader[] = {0x00, 0x00, 0x01, 0xBA};
    // 分割并封装H.264数据
    for (int i = 0; i < totalPES; i++)
    {
        unsigned char* pbuf = psData;
        int pesLength = (remainingBytes > MAX_PES_LENGTH) ? MAX_PES_LENGTH : remainingBytes; // 当前PES包的长度
        remainingBytes -= pesLength; // 更新剩余待处理的字节数
        // PES包头
        unsigned char pesHeader[] = {0x00, 0x00, 0x01, 0xE0, 0x00, 0x00, 0x80, 0x00};
        // 设置PES包长度
        pesHeader[4] = (pesLength + 8) >> 8; // 高8位
        pesHeader[5] = (pesLength + 8) & 0xFF; // 低8位
        // 输出MPEG-PS包头和当前PES包头
        memcpy(pbuf, mpegPSHeader, sizeof(mpegPSHeader));
        pbuf += sizeof(mpegPSHeader);
        memcpy(pbuf, pesHeader, sizeof(pesHeader));
        pbuf += sizeof(pesHeader);
        // 输出当前PES包的H.264数据
        memcpy(pbuf, h264Data + (i * MAX_PES_LENGTH), pesLength);
        pbuf += pesLength;
        int payload_len = (pbuf - psData);
        // 封装RTP包并发送
        MakeAndSendRTP(psData, payload_len);
    }
}

需要注意到,当h264帧比较大的时候,会超出PES可表述的长度大小,这个时候必须对h264帧进行切分,封装成多个PES,再合成到PS包中。

四、RTP数据发送

RTP数据发送的逻辑比较简单,以下为程序中的代码示意图

以下为RTP封装的演示代码(仅展示部分代码):

struct RTPHeader
{
    uint8_t version; // RTP协议版本号,固定为2
    uint8_t padding: 1; // 填充位
    uint8_t extension: 1; // 扩展位
    uint8_t csrcCount: 4; // CSRC计数器,指示CSRC标识符的个数
    uint8_t marker: 1; // 标记位
    uint8_t payloadType: 7; // 负载类型
    uint16_t sequenceNumber; // 序列号
    uint32_t timestamp; // 时间戳
    uint32_t ssrc; // 同步信源标识符
};
void MakeRTPHeader(struct RTPHeader* header, uint16_t sequenceNumber, uint32_t timestamp, uint32_t ssrc, bool isMark)
{
    // 设置RTP协议版本号为2
    header->version = 2;
    // 填充位、扩展位、CSRC计数器等字段根据具体需求进行设置
    header->padding = 0;
    header->extension = 0;
    header->csrcCount = 0;
    // 设置标记位为0(如果需要设置为1,则在需要设置的地方进行修改)
    header->marker = isMark ? 1 : 0;
    // 设置负载类型(payload type),根据具体需求进行设置
    header->payloadType = 96;
    // 设置序列号和时间戳
    header->sequenceNumber = htons(sequenceNumber); // 需要进行字节序转换(网络字节序)
    header->timestamp = htonl(timestamp); // 需要进行字节序转换(网络字节序)
    // 设置同步信源标识符
    header->ssrc = htonl(ssrc); // 需要进行字节序转换(网络字节序)
}
void sendRTPPacket(const uint8_t* mpegPSData, int mpegPSLength, uint16_t sequenceNumber, uint32_t timestamp, uint32_t ssrc)
{
    int offset = 0; // 偏移量,用于遍历MPEG-PS包数据
    int remainingLength = mpegPSLength; // 剩余长度,用于判断是否需要分割RTP报文
    uint8_t rtpbuf[RTP_PAYLOAD_MAX_SIZE]; // RTP负载数据缓冲区
    struct RTPHeader rtpHeader; // RTP报文头部
    while (remainingLength > 0)
    {
        // 计算当前RTP负载数据长度(不超过RTP负载最大大小)
        bool is_mark = false;
        int data_len = RTP_PAYLOAD_MAX_SIZE;
        if (remainingLength <= RTP_PAYLOAD_MAX_SIZE)
        {
            data_len = remainingLength;
            is_mark = true;
        }
        // 填写RTP报文头部
        MakeRTPHeader(&rtpHeader, sequenceNumber, timestamp, ssrc);
        // 复制RTP头部到RTP负载缓冲区
        memcpy(rtpbuf, &rtpHeader, sizeof(RTPHeader));
        // 复制MPEG-PS数据到RTP负载缓冲区
        memcpy(rtpbuf + RTP_HEADER_LEN, mpegPSData + offset, data_len);
        // 将完整RTP包发送出去
        if (udp_channel_)
        {
            udp_channel_->PostSendBuf(rtpbuf, RTP_HEADER_LEN + data_len);
        }
        // 更新偏移量、剩余长度、序列号等信息
        offset += data_len;
        remainingLength -= data_len;
        sequenceNumber++;
    }
}
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
目录
相关文章
|
5月前
|
监控 API 数据处理
局域网监控软件中基于UDP协议的数据传输代码实现
本文介绍了在局域网监控系统中,使用UDP协议进行数据传输的实现。示例代码展示了如何用Python创建UDP套接字,接收并处理监控数据。处理后的数据可通过网站API自动提交到网站,例如利用requests库发送HTTP POST请求。这种方法便于实现监控数据的自动化提交和展示,提升效率与安全性。
185 7
|
5月前
|
SQL Java 数据库连接
Apache Doris 支持 Arrow Flight SQL 协议,数据传输效率实现百倍飞跃
近年来,随着数据科学、数据湖分析等场景的兴起,对数据读取和传输速度提出更高的要求。而 JDBC/ODBC 作为与数据库交互的主流标准,在应对大规模数据读取和传输时显得力不从心,无法满足高性能、低延迟等数据处理需求。为提供更高效的数据传输方案,Apache Doris 在 2.1 版本中基于 Arrow Flight SQL 协议实现了高速数据传输链路,使得数据传输性能实现百倍飞跃。
|
12天前
|
监控 安全 搜索推荐
设置 HTTPS 协议以确保数据传输的安全性
设置 HTTPS 协议以确保数据传输的安全性
|
2月前
|
网络协议 安全 算法
"网络世界的守护者:一探究竟TCP协议如何确保数据传输的绝对安全与可靠"
【8月更文挑战第20天】传输控制协议(TCP)是网络通信中的核心协议之一,它确保数据包能可靠、有序地从源头传输到目的地。TCP采用三次握手的方式建立连接,并通过序列号、确认应答及超时重传来保障数据传输的准确性。此外,TCP还具备流量控制与拥塞控制功能,避免网络拥塞。虽然TCP在可靠性上表现优异,但在快速传输场景中可能存在局限。深入理解TCP对于网络工程师和开发者至关重要。
53 1
|
4月前
|
网络协议 API 开发者
无线通信模块通过TCP/IP协议实现与PC端的数据传输
本文介绍了无线通信模块借助TCP/IP协议向PC端传输数据的过程,包括数据封装、发送和接收,并以WIFI模块为例,讨论了在QT平台下实现无线数据传输的方法。通过QTcpSocket类,开发者能轻松建立WIFI模块与PC间的连接。随着无线通信技术的进步,未来将有更多创新应用出现。
|
5月前
|
缓存
计算机网络:可靠数据传输(rdt)、流水协议、窗口滑动协议
计算机网络:可靠数据传输(rdt)、流水协议、窗口滑动协议
147 2
|
5月前
|
前端开发 网络协议 JavaScript
|
网络协议 算法 Go
【协议分析】rpcx网络协议分析之kcp数据传输
【协议分析】rpcx网络协议分析之kcp数据传输
124 0
|
Web App开发 存储 编解码
【WebRTC原理探索】更进一步,核心组件RTP/RTCP数据传输协议
【WebRTC原理探索】更进一步,核心组件RTP/RTCP数据传输协议
343 0
|
5月前
|
SQL 分布式计算 监控
在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
【2月更文挑战第32天】在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
53 6