jrtplib开源库系列之三:jrtplib发送接收数据流程

简介: 前面2篇文章主要说明了如何安装jrtplib库,以及对example1进行了说明,这篇文章主要说下jrtplib库数据的收发流程。

说明

前面2篇文章主要说明了如何安装jrtplib库,以及对example1进行了说明,这篇文章主要说下jrtplib库数据的收发流程。


数据收发流程

从例子1就可以很好的说明jrtplib的使用是非常简单的,主要分为以下几步

1. 设置会话参数(比如时间戳,带宽,发送间隔时间参数的设置等)和传输参数(是否使用已有的socket和端口分配等参数)
2. 创建session对象
3. 为session对象添加目的地址
4. 如果作为数据发送方,则调用发送接口发送数据,如果作为数据接收方,则循环接收数据的到来

重要结构体

例子说明

1a42d1ea83580c668cf2ccb3fc093cb1_695c20a9c27845c1b7b32b43066f0419.png

假如现在有一个使用jrtplib库的应用,比如现在有3个参与者,有1个服务端(图上对应A)和2个客户端(B和C),由图可知,每个参与者都会像其他参与者定时发送RTCP包,但是仅仅只有指定的参与者像其他参与者发送RTP包。在使用jrtplib库的方式上,服务器和客户端上基本上一样,都需要创建一个Session对象,在创建session对象的过程中,会负责创建一些列其他重要对象,比如Transmitter对象,RTCPSchduler对象,RTPSource对象,RTPSourceData对象等。下面就简单说说这些对象的作用


Session对象

jrtplib中最重要的对象,一个对话表示了RTP会话。作用于整个RTP的生命周期,负责RTP数据的收发,以及各种对象的管理。也是用户在使用jrtplib库中最频繁使用的对象。主要作用有以下几个方面

(1)基本上决定了所有对象的生命周期,即创建Session时,会相应创建其他对象,Session生命周期结束时,其他对象也会被释放。

(2)传输参数的相关设置:比如目的地址的管理,自己的传输参数(端口,地址等),多播参数,当然底层是调用传输组件进行相应的设置

(3)参与者的管理:在jrtplib中,每个参与者都对应一个数据源对象,并通过数据源列表对象对所有的数据源对象进行管理。

(4)RTCP计划对象管理:决定何时发送RTCP包,发送包给哪些地址等。

(5)数据的收发以及处理:这是最重要的功能,具体的功能由具体的对象去完成。


RTPTransmitter 对象

主要负责数据的收发,这是一个纯虚类, 具体的实现由具体的子类去实现。只要包括以下几个作用:

(1)判断数据是否来自于我们

(2)检测数据的到来

(3)发送RTP数据和RTCP数据

(4)添加,删除目的地址

(5)多播支持

(6)设置指定的地址可访问(白名单和黑名单管理)

(7)获取下一个源包(RTPRawPacket)


RTPPacketBuilder对象

这个类就是构造RTP包了(RTPPacket对象),主要根据包的负载数据,负载类型,以及当前时间戳,ssrc,扩展头数据(可选)等参数进行构造。

时间戳的计算:上一个包的时间戳+这个包的时间戳增量


RTPSessionSources 对象

数据源列表对象,该对象用来管理所有的数据源,以前面的例子来讲,对于参与者(服务器A)来说,在创建Session对象过程中,也会创建一个数据源对象来表示参与者A(根据SSRC来区分),同时当A收到B和C的RTCP数据包时,会将B和C的数据源添加到数据源列表中进行管理。同理,对于B和C来说,一样具有一个数据源列表对象,列表对象管理3个数据源对象。


RTCPPacketBuilder对象

这个类就是构造RTCP复合包对象(RTCPCompoundPacket对象),构造复合包对象的规则请参考规范的6.1章节。由于RTCP包包括SR、RR、SDES、APP、BYE包等类型,因此这个类对象有对各种RTCP包的构造规则。


RTCPScheduler对象

这个对象决定什么时候构造RTCP复合包,并发送给数据源列表中除自己以外的所有其他数据源。详细的规则可以参考规范6.3章节。


相关API

首先对涉及收发数据相关的API进行说明。


Session对象的API接口

SendPacket

SendPacket(const void *data,size_t len, uint8_t pt,bool mark,uint32_t timestampinc)

参数说明

(1) data:数据指针参数,在流媒体应用中,通常代表某个流的负载数据,比如对于H264,data通常为完整的NALU帧或者FU帧(分片单元,如果NALU帧大于MTU,那么需要将一个NALU帧分多次发送)

(2) len:这个参数为data的长度

(3) pt:负载类型,代表是哪种流媒体的数据, 一般分为动态类型(大于等于96的数字,这个由具体的应用去决定属于什么媒体,比如如果在RTSP中要用到jrtplib库,一般会在服务器端通过SDP描述告诉RTSP客户端,然后客户端接收到了该种负载类型就知道对应的是何种媒体数据,RTSP客户端应当如何去解析媒体数据)。静态类型(小于96的数字),具体负载类型代表了哪种媒体是已经被分配好了的,具体参考RTP负载和媒体对应关系。该参数用于设置RTP头的PT部分。

(4)mark:标志位,请参考协议规范RTP头的mark位,对于H264来说,标志位设置为真,代表一个Access unit结束。

(5)timestampinc:时间戳增量,就是发送一次包,时间戳应该增加多少,比如时间戳单位为1/90000(即是说1s中有90000个单元),如果1s中发送25个包(我们可以看成帧率),那么时间戳增量为3600.


主要作用

就一个作用,发送数据包,如果不看源代码,根据协议规范就知道,发送包肯定是发送的RTP包,

如果这个接口主要实现了:

(1)将data数据添加RTP头,构造RTP包

(2)对发送包做处理(比如加密等),可选操作

(3)给所有的目的地址发送RTP包


流程图

c502f37926a5582a6cd53fea120cf508_0dfa22e44a19413f939a5fda7afe4dfb.png

Poll

主要步骤

(1)如果我们不应用PollThread线程去获取数据(即没有使用jthread库),需要我们自己调用该接口去判断是否有数据到来,其中会调用传输组件的Poll去判断是否读取到数据,如果读取到数据,会将数据存放到传输组件的原码包列表中(传输组件的rawpacketlist,每个原码包使用RTPRawPacket来表示,这种包即包括RTCP包,也包括RTP包),流程图如下(以RTPUDPv4Transmitter为例)

891738bc47760dfdd2286708d76a52d3_daedf00c12b744a99065665ce7a2922b.png

(2)调用ProcessPolledData()接口去处理RTPRawPacket包,**注意这个接口我觉得是整个jrtplib中最关键的处理过程,对这个函数掌握了,基本上你就知道什RTP协议是做什么,以及jrtplib的实现思路。**这个接口主要有2个作用

A.解析所有的输入源码包

这里我就说流程图来简单说明下,但是不会做的很详细,详细的会在后续文章中继续说明。

1f7fd3856e7f09d0407fd0b2f50daa29_6d31df6224df48b2a3439c0e4775b462.png

B.判断是否发送RTCP包数据。

参与者随时都可能离开会话,或者长时间没有给其他参与者发送数据(比如上面的A许久没给B和C发送数据,那么B和C的数据源列表中需要将A设置为非发送者等),在jrtplib中,主要有以下几种超时事件:

发送者超时:比如上图中的A许久没给B和C发送数据,那么B和C的数据源列表中在一段时间后会将A的数据源对象设置为非发送者。一般RTP规范一般认为2个周期内没有发送数据,就会被视为非发送者。

成员超时:即一段时间内,该数据源没有像自身发生数据(RTP或者RTCP),一般就会被视为超时,RTP规范认为5个周期内没有发送数据,就会被认为是成员超时,需要从成员列表中删除该数据源

bye成员超时:一般某一个成员在像其他数据源发送BYE包之后,会有一定时间的保留期,如果在这个时间内没像其他数据源发送数据,则被视为这个成员是真正要离开会话了。RTP规范默认为1.

另外还包括SDES note超时和碰撞超时,这里就不介绍了,具体请参考RTP协议规范。

主要流程如下图所示:

0fd35f11ca41be8fdf2106f3a49f1ef8_cbea9f8d111d4f4f9bdaa3f7c0cb1e56.png


总结

本文只是简单介绍了jrtplib数据的收发流程,并没有对代码和详细流程做分析,后面还会细化数据发送和接收数据流程,还会对其中的部分代码进行分析。


相关文章
|
6月前
|
C++
jrtplib开源库系列之一:jrtplib介绍、安装和测试(window 10环境介绍)
关于jrtplib库网上已经有很多介绍,而且目前jrtplib作者已经停止更新(Apr 18, 2020),最新版本为v3.11.2。本系列内容也以该版本进行介绍。 相信你已经对RTP/RTCP协议有一定的了解,并想更深入的了解RTP协议的具体实现,jrtplib就是使用使用C++实现的RTP/RTCP协议。具体标准为RFC3550,如果想仔细阅读原文,但是对英文又有点吃力,可以参考我的博客RTP/RTCP中英文对照,在博客的后面有百度链接,是对RFC3550的中文翻译,可能很多地方不太准确,有些内容是自己添加进去的,希望不会影响你的阅读。
123 0
|
Web App开发 安全 网络协议
Qt开发技术:QWebSocket客户端、服务端介绍与开发
Qt开发技术:QWebSocket客户端、服务端介绍与开发
Qt开发技术:QWebSocket客户端、服务端介绍与开发
|
6月前
|
Web App开发 Windows
FFmpeg开发笔记(十五)详解MediaMTX的推拉流
MediaMTX是开源轻量级流媒体服务器,提供RTSP, RTMP, HLS, WebRTC和SRT服务。启动后,它在不同端口监听。通过FFmpeg的推拉流测试,证明了MediaMTX成功实现HLS流媒体转发,但HLS播放兼容性问题可能因缺少音频流导致。推流地址为rtsp://127.0.0.1:8554/stream,RTMP地址为rtmp://127.0.0.1:1935/stream,HLS播放地址为http://127.0.0.1:8888/stream(Chrome)和http://127.0.0.1:8888/stream/index.m3u8(其他播放器可能不支持)。
789 2
FFmpeg开发笔记(十五)详解MediaMTX的推拉流
|
存储 Java Maven
服务端apk打包教程
本文我将给大家介绍一个 apk 打包工具 VasDolly 的使用介绍、原理以及如何在服务端接入 VasDolly 进行服务端打渠道包操作。
171 0
|
6月前
|
XML JSON API
IOS网络编程:介绍一下 Alamofire 库。
IOS网络编程:介绍一下 Alamofire 库。
163 3
|
6月前
jrtplib开源库系列之二:jrtplib库example1分析说明
这个官方example还是比较简单的,主要是测试发一个数据包,然后自己接收发出的包,注意,这里需要注意将目的地址的端口和基端口(portbase)设置为相同,同时需要将这个参数设置为真sessparams.SetAcceptOwnPackets(true);
111 0
《QT从基础到进阶·十六》QT实现客户端和服务端的简单交互
《QT从基础到进阶·十六》QT实现客户端和服务端的简单交互
143 0
|
存储 JavaScript 安全
教你如何用一行命令:Android打包->上传->发测试包通知
教你如何用一行命令:Android打包->上传->发测试包通知
265 0
教你如何用一行命令:Android打包->上传->发测试包通知
|
存储 网络协议 C语言
服务端编程示例|学习笔记
快速学习服务端编程示例
105 0
服务端编程示例|学习笔记
doubango编码及发送流程的疑惑
doubango编码及发送流程的疑惑
59 0