RTMP直播应用与延时分析

简介: 直播应用中,RTMP和HLS基本上可以覆盖所有客户端观看,HLS主要是延时比较大,RTMP主要优势在于延时低。 一、应用场景 低延时应用场景包括:  .  互动式直播:譬如2013年大行其道的美女主播,游戏直播等等     各种主播,流媒体分发给用户观看。

直播应用中,RTMP和HLS基本上可以覆盖所有客户端观看,
HLS主要是延时比较大,RTMP主要优势在于延时低。

一、应用场景

低延时应用场景包括:
  .  互动式直播:譬如2013年大行其道的美女主播,游戏直播等等
     各种主播,流媒体分发给用户观看。用户可以文字聊天和主播互动。
  .  视频会议:我们要是有同事出差在外地,就用视频会议开内部会议。
     其实会议1秒延时无所谓,因为人家讲完话后,其他人需要思考,
     思考的延时也会在1秒左右。当然如果用视频会议吵架就不行。
  .  其他:监控,直播也有些地方需要对延迟有要求,
     互联网上RTMP协议的延迟基本上能够满足要求。


二、RTMP和延时

1. RTMP的特点如下:

1) Adobe支持得很好:
   RTMP实际上是现在编码器输出的工业标准协议,基本上所有的编码器(摄像头之类)都支持RTMP输出。
   原因在于PC市场巨大,PC主要是Windows,Windows的浏览器基本上都支持flash,
   Flash又支持RTMP支持得非常好。
2) 适合长时间播放:
   因为RTMP支持的很完善,所以能做到flash播放RTMP流长时间不断流,
   当时测试是100万秒,即10天多可以连续播放。
   对于商用流媒体应用,客户端的稳定性当然也是必须的,否则最终用户看不了还怎么玩?
   我就知道有个教育客户,最初使用播放器播放http流,需要播放不同的文件,结果就总出问题,
   如果换成服务器端将不同的文件转换成RTMP流,客户端就可以一直播放;
   该客户走RTMP方案后,经过CDN分发,没听说客户端出问题了。
3)延迟较低:
   比起YY的那种UDP私有协议,RTMP算延迟大的(延迟在1-3秒),
   比起HTTP流的延时(一般在10秒以上)RTMP算低延时。
   一般的直播应用,只要不是电话类对话的那种要求,RTMP延迟是可以接受的。
   在一般的视频会议应用中,RTMP延时也能接受,原因是别人在说话的时候我们一般在听,
   实际上1秒延时没有关系,我们也要思考(话说有些人的CPU处理速度还没有这么快)。
4) 有累积延迟:
   技术一定要知道弱点,RTMP有个弱点就是累积误差,原因是RTMP基于TCP不会丢包。
   所以当网络状态差时,服务器会将包缓存起来,导致累积的延迟;
   待网络状况好了,就一起发给客户端。
   这个的对策就是,当客户端的缓冲区很大,就断开重连。


2. HLS低延时

主要有人老是问这个问题,如何降低HLS延迟。
HLS解决延时,就像是爬到枫树上去捉鱼,奇怪的是还有人喊,看那,有鱼。
你说是怎么回事?


我只能说你在参与谦哥的魔术表演,错觉罢了。
如果你真的确信有,请用实际测量的图片来展示出来,参考下面延迟的测量。


3. RTMP延迟的测量

如何测量延时,是个很难的问题,
不过有个行之有效的方法,就是用手机的秒表,可以比较精确的对比延时。


经过测量发现,在网络状况良好时:
  . RTMP延时可以做到0.8秒左右。
  . 多级边缘节点不会影响延迟(和SRS同源的某CDN的边缘服务器可以做到)
  . Nginx-Rtmp延迟有点大,估计是缓存的处理,多进程通信导致?
  . GOP是个硬指标,不过SRS可以关闭GOP的cache来避免这个影响.
  . 服务器性能太低,也会导致延迟变大,服务器来不及发送数据。
  . 客户端的缓冲区长度也影响延迟。
    譬如flash客户端的NetStream.bufferTime设置为10秒,那么延迟至少10秒以上。


4. GOP-Cache

什么是GOP?就是视频流中两个I帧的时间距离。
GOP有什么影响?
Flash(解码器)只有拿到GOP才能开始解码播放。
也就是说,服务器一般先给一个I帧给Flash。
可惜问题来了,假设GOP是10秒,也就是每隔10秒才有关键帧,
如果用户在第5秒时开始播放,会怎么样?
第一种方案:等待下一个I帧,
也就是说,再等5秒才开始给客户端数据。
这样延迟就很低了,总是实时的流。
问题是:等待的这5秒,会黑屏,现象就是播放器卡在那里,什么也没有,
有些用户可能以为死掉了,就会刷新页面。
总之,某些客户会认为等待关键帧是个不可饶恕的错误,延时有什么关系?
我就希望能快速启动和播放视频,最好打开就能放!


第二种方案:马上开始放,
放什么呢?
你肯定知道了,放前一个I帧。
也就是说,服务器需要总是cache一个gop,
这样客户端上来就从前一个I帧开始播放,就可以快速启动了。
问题是:延迟自然就大了。


有没有好的方案?
有!至少有两种:
编码器调低GOP,譬如0.5秒一个GOP,这样延迟也很低,也不用等待。
坏处是编码器压缩率会降低,图像质量没有那么好。


5. 累积延迟

除了GOP-Cache,还有一个有关系,就是累积延迟。
服务器可以配置直播队列的长度,服务器会将数据放在直播队列中,
如果超过这个长度就清空到最后一个I帧:


当然这个不能配置太小,
譬如GOP是1秒,queue_length是1秒,这样会导致有1秒数据就清空,会导致跳跃。


有更好的方法?有的。
延迟基本上就等于客户端的缓冲区长度,因为延迟大多由于网络带宽低,
服务器缓存后一起发给客户端,现象就是客户端的缓冲区变大了,
譬如NetStream.BufferLength=5秒,那么说明缓冲区中至少有5秒数据。


处理累积延迟的最好方法,是客户端检测到缓冲区有很多数据了,如果可以的话,就重连服务器。
当然如果网络一直不好,那就没有办法了。

 

技术改变世界! --狂诗绝剑
目录
相关文章
|
5月前
|
网络协议 Linux
音视频学习之rtsp推拉流学习2(流媒体服务器ZLMediaKit)
音视频学习之rtsp推拉流学习2(流媒体服务器ZLMediaKit)
499 0
|
Web App开发 编解码 算法
发现一个非常好用的RTC(实时音视频通信)方案,做直播和视频通话都很牛
HaaS RTC是阿里云IoT联合视频云开发的IoT设备端上的实时通讯服务,主要面向直播,音视频通话等各种场景。
2128 0
发现一个非常好用的RTC(实时音视频通信)方案,做直播和视频通话都很牛
|
8天前
|
编解码 流计算
直播推流的工作原理是什么
直播推流将视频和音频数据从设备实时传输到服务器并分发给观众,涉及采集、编码、推流、传输、拉流和显示六个关键步骤。首先通过摄像机或麦克风采集音视频,再利用编码器如OBS压缩数据,采用H.264等格式编码,接着通过RTMP等协议推流至服务器,服务器调整格式后通过HLS等协议分发给不同设备,观众即可实时观看。此流程确保了低延迟的全球内容传递。
|
1月前
|
XML 编解码 开发工具
多路RTSP转RTMP推送方案的两个选择
RTSP转RTMP模块设计,可以用ffmpeg直接命令行转发,也可以用方案二的非常成熟的转发设计,ffmpeg转发,需要有一定的代码基础,有问题的话,bug修复需要对底层逻辑非常了解才行,方案二,技术成熟,二次开发难度不大,很容易集成到自己现有系统
|
2月前
|
编解码 开发工具 Android开发
iOS平台如何实现毫秒级延迟的RTMP|RTSP播放器
在我的blog里面,最近很少有提到iOS平台RTMP推送|轻量级RTSP服务和RTMP|RTSP直播播放模块,实际上,我们在2016年就发布了iOS平台直播推拉流、转发模块,只是因为传统行业,对iOS的需求比较少,所以一直没单独说明,本文主要介绍下,如何在iOS平台播放RTMP或RTSP流。
|
12月前
|
网络协议 算法 网络性能优化
【流媒体】推流与拉流简介
【流媒体】推流与拉流简介
439 0
|
12月前
|
移动开发 编解码 缓存
【知识拓展】音视频中的推流与拉流
【知识拓展】音视频中的推流与拉流
378 1
|
编解码 开发工具 图形学
Unity环境下RTMP推流+RTMP播放低延迟解决方案
在本文之前,我们发布了Unity环境下的RTMP推流(Windows平台+Android平台)和RTMP|RTSP拉流(Windows平台+Android平台+iOS平台)低延迟的解决方案,今天做个整体汇总,权当抛砖引玉。
539 0
|
存储 编解码 监控
跨平台低延迟RTSP转RTMP推送技术方案探讨
实现RTSP摄像头数据转RTMP推送到服务器,可以用第三方库或者工具实现,总体设计架构如下:
322 0
|
编解码 网络协议 开发工具
跨平台低延迟的RTMP/RTSP直播播放器设计实现
2015年,当我们试图在市面上找一款专供直播播放使用的低延迟播放器,来配合测试我们的RTMP推送模块使用时,居然发现没有一款好用的,市面上的,如VLC或Vitamio,说白了都是基于FFMPEG,在点播这块支持格式很多,也非常优异,但是直播这块,特别是RTMP,延迟要几秒钟,对如纯音频、纯视频播放,快速启播、网络异常状态处理、集成复杂度等各方面,支持非常差,而且因为功能强大,bug很多,除了行业内资深的开发者能驾驭,好多开发者甚至连编译整体环境,都要耗费很大的精力。
325 0