海思3559万能平台搭建：RTSP实时播放的优化-阿里云开发者社区

前言：

之前的rtsp功能，仅仅是对demo的简单修改，（是通过保存本地文件后在读取本地文件数据再播放）。这样存在的主要问题是，如果是先保存好文件，在读取文件传给rtsp播放，有多此一举的嫌疑，而且这样人为的增加了延迟不说，有没有这么大的硬盘让我们一直实时观看呢。更好的一个方法是我们参考海思保存码流的办法，在保存前增加开关，确定是否需要保存(参考我们的配置文件，都不需要重新编译，即可选择是否保存)是否需要实时播放，将要保存的文件直接发给rtsp是个更为明智的选择。另外时间戳也不可忽视，在实时的码流中还是非常重要的

demo版本的RTSP播放

术语解释

RTSP

实时流协议（RTSP）是应用层协议，控制实时数据的传送。RTSP提供了一个可扩展框架，使受控、按需传输实时数据（如音频与视频）成为可能。数据源包括现场数据与存储在剪辑中的数据。本协议旨在于控制多个数据发送会话，提供了一种选择传送途径（如UDP、组播UDP与TCP）的方法，并提供了一种选择基于RTP (RFC1889)的传送机制的方法。

session

RTSP没有"连接"这个概念，而由RTSP会话(session)代替（服务器端保持一个由识别符标记的会话）。RTSP会话没有绑定传输层连接（如TCP连接）。在RTSP会话期间，RTSP客户端可以打开或关闭多个到服务器端的可靠传输连接以发出RTSP请求。但也可以使用无连接传输协议，比如UDP，来发送RTSP请求。

RTP中时间戳的作用：

1、调整语序

时间戳字段是RTP首部中说明数据包时间的同步信息，是数据能以正确的时间顺序恢复的关键。时间戳的值给出了分组中数据的第一个字节的采样时间(Sampling Instant)，要求发送方时间戳的时钟是连续、单调增长的，即使在没有数据输入或发送数据时也是如此。在静默时，发送方不必发送数据，保持时间戳的增长，在接收端，由于接收到的数据分组的序号没有丢失，就知道没有发生数据丢失，而且只要比较前后分组的时间戳的差异，就可以确定输出的时间间隔。

RTP规定一次会话的初始时间戳必须随机选择，但协议没有规定时间戳的单位，也没有规定该值的精确解释，而是由负载类型来确定时钟的颗粒，这样各种应用类型可以根据需要选择合适的输出计时精度。

在RTP传输音频数据时，一般选定逻辑时间戳速率与采样速率相同，但是在传输视频数据时，必须使时间戳速率大于每帧的一个滴答。如果数据是在同一时刻采样的，协议标准还允许多个分组具有相同的时间戳值。

2、控制媒体数据发送速度

由于RTP协议没有规定RTP分组的长度和发送数据的速度，因而需要根据具体情况调整服务器端发送媒体数据的速度。对来自设备的实时数据可以采取等时间间隔访问设备缓冲区，在有新数据输入时发送数据的方式，时间戳的设置相对容易。对已经录制好的本地硬盘上的媒体文件，以H.263格式的文件为例，由于文件本身不包含帧率信息，所以需要知道录制时的帧率或者设置一个初始值，在发送数据的时候找出发送数据中的帧数目，根据帧率和预置值来计算时延，以适当的速度发送数据并设置时间戳信息。

3、调整多种流同步

RTCP的一个关键作用就是能让接收方同步多个RTP流，例如：当音频与视频一起传输的时候，由于编码的不同，RTP使用两个流分别进行传输，这样两个流的时间戳以不同的速率运行，接收方必须同步两个流，以保证声音与影像的一致。为能进行流同步，RTCP要求发送方给每个传送一个唯一的标识数据源的规范名 (Canonical Name），尽管由一个数据源发出的不同的流具有不同的同步源标识(SSRC)，但具有相同的规范名，这样接收方就知道哪些流是有关联的。而发送方报告报文所包含的信息可被接收方用于协调两个流中的时间戳值。发送方报告中含有一个以网络时间协议NTP(Network Time Protocol)格式表示的绝对时间值，接着RTCP报告中给出一个RTP时间戳值，产生该值的时钟就是产生RTP分组中的TimeStamp字段的那个时钟。由于发送方发出的所有流和发送方报告都使用同一个绝对时钟，接收方就可以比较来自同一数据源的两个流的绝对时间，从而确定如何将一个流中的时间戳值映射为另一个流中的时间戳值。

获取时间戳部分代码还是比较重要的，这里主要关注的rtp包的时间戳，在rtsp中，播放器的1S钟的定义是和媒体的采样率有关的。

例如视频的采样率是90K，那么最小时间粒度（单位）是1/90000秒，再转换成ms就是 1/90毫秒，这个就是rtsp中的最小时间单位。

所以设备端采集的视频的时间要经过一个转换，标准的播放器才能播放

还是以90K的视频为例，设备采集到的单位是按时间tv_sec，tv_usec存储。

/* timestamp convert
    t(rtsp时间戳，单位ms) =  t(采集时间戳，单位秒)*90000
    */
    unsigned int tv_sec, tv_usec, pts;
    tv_sec = ts / 1000;
    tv_usec = (ts % 1000) * 1000;
    pts = tv_sec * 90000 + tv_usec *9 / 100;

对应的如果是8K采样率的音频，则转化公式是：

/* timestamp convert
    t(rtsp时间戳，单位ms) =  t(采集时间戳，单位秒)*8000
    */
    tv_sec = ts / 1000;
    tv_usec = (ts % 1000) * 1000;
    pts = tv_sec * 8000 + tv_usec *8/1000;

码流的保存

处于尽量不修改sample源码的原则，我们将用于保存码流的sample拷贝出来，重新写一份

s32Ret = PLATFORM_VENC_StartGetStreamRtsp(VencChn,s32ChnNum);
        if (HI_SUCCESS != s32Ret)
        {
            SAMPLE_PRT("RTSP Start Venc failed!\n");
            goto EXIT_Grp1_VENC_H264_UnBind;
        }

/* 
 *描述  ：用于创建实时显示编码后图像线程
 *参数  ：VeChn[] 编码通道号
          s32Cnt 通道数
 *返回值：创建线程PLATFORM_VENC_GetVencStreamRtsp，传递结构体gs_stPara
 *注意  ：无
 */
HI_S32 PLATFORM_VENC_StartGetStreamRtsp(VENC_CHN VeChn[],HI_S32 s32Cnt)
{
    HI_U32 i;
    gs_stPara.bThreadStart = HI_TRUE;
    gs_stPara.s32Cnt = s32Cnt;
    for(i=0; i<s32Cnt; i++)
    {
        gs_stPara.VeChn[i] = VeChn[i];
    }
    return pthread_create(&gs_RtspVencPid, 0, PLATFORM_VENC_GetVencStreamRtsp, (HI_VOID*)&gs_stPara);
}

/* 
 *描述  ：调用RTSP静态库后，用于实时显示编码后图像
 *参数  ：p 线程传递进来的结构体指针原型为 SAMPLE_VENC_GETSTREAM_PARA_S
 *返回值：NULL
 *注意  ：无
 */
HI_VOID* PLATFORM_VENC_GetVencStreamRtsp(HI_VOID* p)
{
    HI_S32 i;
    HI_S32 s32ChnTotal;
    VENC_CHN_ATTR_S stVencChnAttr;
    SAMPLE_VENC_GETSTREAM_PARA_S* pstPara;
    HI_S32 maxfd = 0;
    struct timeval TimeoutVal;
    fd_set read_fds;
    HI_U32 u32PictureCnt[VENC_MAX_CHN_NUM]={0};
    HI_S32 VencFd[VENC_MAX_CHN_NUM];
    HI_CHAR aszFileName[VENC_MAX_CHN_NUM][64];
    FILE* pFile[VENC_MAX_CHN_NUM];
    char szFilePostfix[10];
    VENC_CHN_STATUS_S stStat;
    VENC_STREAM_S stStream;
    HI_S32 s32Ret;
    VENC_CHN VencChn;
    PAYLOAD_TYPE_E enPayLoadType[VENC_MAX_CHN_NUM];
    VENC_STREAM_BUF_INFO_S stStreamBufInfo[VENC_MAX_CHN_NUM];
    prctl(PR_SET_NAME, "GetVencStream", 0,0,0);
    pstPara = (SAMPLE_VENC_GETSTREAM_PARA_S*)p;
    s32ChnTotal = pstPara->s32Cnt;
    // printf("s32ChnTotal is %d\n", s32ChnTotal);
    /******************************************
     step 1:  check & prepare save-file & venc-fd
     检查并准备保存文件和venc fd
    ******************************************/
    if (s32ChnTotal >= VENC_MAX_CHN_NUM)
    {
        SAMPLE_PRT("input count invaild\n");
        return NULL;
    }
    for (i = 0; i < s32ChnTotal; i++)
    {
        /* decide the stream file name, and open file to save stream 
        确定视频流文件名，并打开文件以保存视频流*/
        VencChn = pstPara->VeChn[i];
        s32Ret = HI_MPI_VENC_GetChnAttr(VencChn, &stVencChnAttr);
        if (s32Ret != HI_SUCCESS)
        {
            SAMPLE_PRT("HI_MPI_VENC_GetChnAttr chn[%d] failed with %#x!\n", \
                       VencChn, s32Ret);
            return NULL;
        }
        enPayLoadType[i] = stVencChnAttr.stVencAttr.enType;
        s32Ret = PLATFORM_VENC_GetFilePostfix(enPayLoadType[i], szFilePostfix);
        if (s32Ret != HI_SUCCESS)
        {
            SAMPLE_PRT("PLATFORM_VENC_GetFilePostfix [%d] failed with %#x!\n", \
                       stVencChnAttr.stVencAttr.enType, s32Ret);
            return NULL;
        }
        if(PT_JPEG != enPayLoadType[i])
        {
            snprintf(aszFileName[i],32, "./RTSP/RTSP_chn%d%s", i, szFilePostfix);
            pFile[i] = fopen(aszFileName[i], "wb");
            if (!pFile[i])
            {
                SAMPLE_PRT("open file[%s] failed!\n",
                           aszFileName[i]);
                return NULL;
            }
        }
        /* Set Venc Fd. */
        VencFd[i] = HI_MPI_VENC_GetFd(i);
        if (VencFd[i] < 0)
        {
            SAMPLE_PRT("HI_MPI_VENC_GetFd failed with %#x!\n",
                       VencFd[i]);
            return NULL;
        }
        if (maxfd <= VencFd[i])
        {
            maxfd = VencFd[i];
        }
        s32Ret = HI_MPI_VENC_GetStreamBufInfo (i, &stStreamBufInfo[i]);
        if (HI_SUCCESS != s32Ret)
        {
            SAMPLE_PRT("HI_MPI_VENC_GetStreamBufInfo failed with %#x!\n", s32Ret);
            return (void *)HI_FAILURE;
        }
    }
    /******************************************
     step 2:  Start to get streams of each channel.
     开始获取每个通道的视频流
    ******************************************/
    while (HI_TRUE == pstPara->bThreadStart)
    {
        FD_ZERO(&read_fds);
        for (i = 0; i < s32ChnTotal; i++)
        {
            FD_SET(VencFd[i], &read_fds);
        }
        TimeoutVal.tv_sec  = 2;
        TimeoutVal.tv_usec = 0;
        s32Ret = select(maxfd + 1, &read_fds, NULL, NULL, &TimeoutVal);
        if (s32Ret < 0)
        {
            SAMPLE_PRT("select failed!\n");
            break;
        }
        else if (s32Ret == 0)
        {
            SAMPLE_PRT("get venc stream time out, exit thread\n");
            continue;
        }
        else
        {
            for (i = 0; i < s32ChnTotal; i++)
            {
                if (FD_ISSET(VencFd[i], &read_fds))
                {
                    /*******************************************************
                     step 2.1 : query how many packs in one-frame stream.
                     查询每个帧流中有多少包。
                    *******************************************************/
                    memset(&stStream, 0, sizeof(stStream));
                    s32Ret = HI_MPI_VENC_QueryStatus(i, &stStat);
                    if (HI_SUCCESS != s32Ret)
                    {
                        SAMPLE_PRT("HI_MPI_VENC_QueryStatus chn[%d] failed with %#x!\n", i, s32Ret);
                        break;
                    }
                    /*******************************************************
                    step 2.2 :suggest to check both u32CurPacks and u32LeftStreamFrames at the same time,for example:
                    建议同时检查u32CurPacks和u32LeftStreamFrames
                     if(0 == stStat.u32CurPacks || 0 == stStat.u32LeftStreamFrames)
                     {
                        SAMPLE_PRT("NOTE: Current  frame is NULL!\n");
                        continue;
                     }
                    *******************************************************/
                    if(0 == stStat.u32CurPacks)
                    {
                          SAMPLE_PRT("NOTE: Current  frame is NULL!\n");
                          continue;
                    }
                    /*******************************************************
                     step 2.3 : malloc corresponding number of pack nodes.
                     malloc对应的包节点数。
                    *******************************************************/
                    stStream.pstPack = (VENC_PACK_S*)malloc(sizeof(VENC_PACK_S) * stStat.u32CurPacks);
                    if (NULL == stStream.pstPack)
                    {
                        SAMPLE_PRT("malloc stream pack failed!\n");
                        break;
                    }
                    /*******************************************************
                     step 2.4 : call mpi to get one-frame stream
                     调用mpi获取一个帧流
                    *******************************************************/
                    stStream.u32PackCount = stStat.u32CurPacks;
                    s32Ret = HI_MPI_VENC_GetStream(i, &stStream, HI_TRUE);
                    if (HI_SUCCESS != s32Ret)
                    {
                        free(stStream.pstPack);
                        stStream.pstPack = NULL;
                        SAMPLE_PRT("HI_MPI_VENC_GetStream failed with %#x!\n", \
                                   s32Ret);
                        break;
                    }
                    /*******************************************************
                     step 2.5 : save frame to file
                     将框架保存到文件
                    *******************************************************/
                    // SAMPLE_PRT("before  if(PT_JPEG == enPayLoadType[i])!\n");
                    if(PT_JPEG == enPayLoadType[i])
                    {
                        // SAMPLE_PRT("after  if(PT_JPEG == enPayLoadType[i])!\n");
                        snprintf(aszFileName[i],32, "stream_chn%d_%d%s", i, u32PictureCnt[i],szFilePostfix);
                        pFile[i] = fopen(aszFileName[i], "wb");
                        if (!pFile[i])
                        {
                            SAMPLE_PRT("open file err!\n");
                            return NULL;
                        }
                    }
#ifndef __HuaweiLite__
                    if(saveEnable)
                    {
                        if(i==rtsp_playchl)
                        {
                            s32Ret = PLATFORM_VENC_SendStream(pFile[rtsp_playchl], &stStream);
                        }
                        else
                        {
                            s32Ret = PLATFORM_VENC_SaveStream(pFile[i], &stStream);
                        }
                    }
                   else
                    {
                        if(i==rtsp_playchl)
                        {
                            s32Ret = PLATFORM_VENC_SendStream(pFile[rtsp_playchl], &stStream);
                        }
                        else
                        {
                        }
                    }
                    // printf("rtsp_savechl is %d,playchl is %d\n", i,rtsp_playchl);
#else
                    s32Ret = SAMPLE_COMM_VENC_SaveStream_PhyAddr(pFile[i], &stStreamBufInfo[i], &stStream);
#endif
                    if (HI_SUCCESS != s32Ret)
                    {
                        free(stStream.pstPack);
                        stStream.pstPack = NULL;
                        SAMPLE_PRT("save stream failed!\n");
                        break;
                    }
                    /*******************************************************
                     step 2.6 : release stream
                     释放视频流
                     *******************************************************/
                    s32Ret = HI_MPI_VENC_ReleaseStream(i, &stStream);
                    if (HI_SUCCESS != s32Ret)
                    {
                        SAMPLE_PRT("HI_MPI_VENC_ReleaseStream failed!\n");
                        free(stStream.pstPack);
                        stStream.pstPack = NULL;
                        break;
                    }
                    /*******************************************************
                     step 2.7 : free pack nodes
                     释放包节点
                    *******************************************************/
                    free(stStream.pstPack);
                    stStream.pstPack = NULL;
                    u32PictureCnt[i]++;
                    if(PT_JPEG == enPayLoadType[i])
                    {
                        fclose(pFile[i]);
                    }
                }
            }
        }
    }
    /*******************************************************
    * step 3 : close save-file
    *******************************************************/
    for (i = 0; i < s32ChnTotal; i++)
    {
        if(PT_JPEG != enPayLoadType[i])
        {
            fclose(pFile[i]);
        }
    }
    return NULL;
}

sample的保存文件是在for循环里分别保存每个通道的码流信息，我们要实时播放自然不能让其他通道的码流乱入进来，所以我们在引入rtsp_playchl播放通道这个变量，又可以通过我们好用的配置文件随时想播放的通道，当然播放的时候最好也不要影响我们本地保存的功能，我们把原本的保存函数也做修改

if(saveEnable)
if(i==rtsp_playchl)
s32Ret=PLATFORM_VENC_SendStream(pFile[rtsp_playchl]，&stStream)}
else{
s32Ret = PLATFORM_VENC_SaveStream(pFile[i]，&stStream);
}
else

直接发送出去，有全局的保存开关，也可以决定是否保存，这个函数是有码流时while1进的，随时可以更新

码流的实时播放

/******************************************************************************
 *描述  ：发送文件
 *参数  ：pFd 文件描述符
          pstStream 帧码流类型结构体。
 *返回值：成功返回0
 *注意  ：无
******************************************************************************/
HI_S32 PLATFORM_VENC_SendStream(FILE* pFd,VENC_STREAM_S* pstStream)
{
    HI_S32 i;
  int status = 0;
  for (i = 0; i < pstStream->u32PackCount; i++)
  {
  ts=rtsp_get_reltime();
  rtsp_tx_video(session[0],(pstStream->pstPack[i].pu8Addr + pstStream->pstPack[i].u32Offset), pstStream->pstPack[i].u32Len , ts);
  rtsp_do_event(demo);
  if(saveEnable)
  {
    fwrite(pstStream->pstPack[i].pu8Addr + pstStream->pstPack[i].u32Offset,
                pstStream->pstPack[i].u32Len - pstStream->pstPack[i].u32Offset, 1, pFd);
          fflush(pFd);
  }
  } 
    return HI_SUCCESS;
}

当然rtsp的配置部分也做了简单修改，初始化部分只需要做

create_rtsp_demo，创建一个端口
  create_rtsp_session，在创建好一个用来播放的节点，vlc播放器打开时匹配同名路径
  rtsp_set_video，设置码流信息，默认h264
  while（1）
     {
      rtsp_get_reltime();获取时间戳
      rtsp_tx_video 发送码流
      rtsp_do_event发送码流
     }
  rtsp_del_session删除节点
  rtsp_del_demo删除端口
/* 
 *描述  ：用于rtsp实时播放的线程
 *参数  ：NULL
 *返回值：无
 *注意  ：加载文件platform.ini  rtsp://192.168.119.164:8554/mnt/sample/venc/rtsp.264
 */
void *video_play_rtsp_task(void* arg)
{
  cpu_set_t mask;//cpu核的集合
    cpu_set_t get;//获取在集合中的cpu
    int num = sysconf(_SC_NPROCESSORS_CONF);
    printf("frame_check_task:system has %d processor(s)\n", num);
    CPU_ZERO(&mask);//置空
    CPU_SET(3, &mask);//设置亲和力值
    if (pthread_setaffinity_np(pthread_self(), sizeof(mask), &mask) < 0)//设置线程CPU亲和力
    {
        fprintf(stderr, "set thread affinity failed\n");
    }
    if (pthread_getaffinity_np(pthread_self(), sizeof(get), &get) < 0)//获取线程CPU亲和力
    {
        fprintf(stderr, "get thread affinity failed\n");
    }
    printf("rtsp ts is %lld\n", rtsp_ts);
  demo = create_rtsp_demo(8554);//rtsp sever socket
  if (NULL == demo) {
  SAMPLE_PRT("rtsp new demo failed!\n");
  // return 0;
  }
  // session[0] = rtsp_new_session(demo, "/mnt/sample/venc/rtsp.264");//对应rtsp session 
  session[0] = create_rtsp_session(demo, "/mnt/sample/venc/RTSP/RTSP_chn0.h264");//对应rtsp session 
  if (NULL == session[0]) {
    printf("rtsp_new_session failed\n");  
    // continue;
  }
  printf("==========> rtsp://192.168.119.200:8554/mnt/sample/venc/RTSP/RTSP_chn0.h264 <===========\n" );
  ts = rtsp_get_reltime();
  // signal(SIGINT, sig_proc);
  getchar();
    return 0;
}

改进

这样做后在不保存多路码流的情况下已经非常稳定且低延时了，为了尽善尽美，引入缓冲池来播放来缓存码流会是更好的选择，具体做法关注后续更新rtsp3

rtsp源码

RTSP源码免费下载，如果平台动态调整积分，请及时联系作者

海思3559万能平台搭建：RTSP实时播放的优化

前言：

术语解释

RTSP

session

RTP中时间戳的作用：

码流的保存

码流的实时播放

改进

rtsp源码

热门文章

最新文章

相关课程

相关电子书

相关实验场景