打造“零距离”互动直播间,低延时流媒体技术实践

简介: 如何提升直播过程中三个要素之间的互动,让主播与主播之间、主播与粉丝之间达到一致 的用户体验?优酷直播流媒体团队做了低延时流媒体技术的探索实践,实现了在用户体验不下 降的基础上,让主播与主播延时<300ms,主播与粉丝延时<600ms,解决了直播间各类互动问题。

作者| 阿里文娱技术专家 乾戒

一、行业的用户体验分析

互动直播场景中有主麦主播、辅麦主播、粉丝三个要素,这三者之间关系构成了直播间的 各种互动场景。
1)主麦主播、辅麦主播可以无障碍的进行音视频通话,通常延时在 300ms 以内;
2)(主麦、辅麦)主播与粉丝互动场景;主播说话,而粉丝以文字、图片、送礼物等方式 进行互动;这种差别造成一次互动的延时在 3000ms 以上,想象一下如下互动场景:
a)进场特效播放完依然没有收到问候; b)当主播与粉丝一起玩“王者荣耀”时需要偷塔时,无法满足; c)当主播与主播 PK 时,其中一个主播最后几秒想拉票时,无法满足。
如何提升直播过程中三个要素之间的互动,让主播与主播之间、主播与粉丝之间达到一致 的用户体验?优酷直播流媒体团队做了低延时流媒体技术的探索实践,实现了在用户体验不下 降的基础上,让主播与主播延时<300ms,主播与粉丝延时<600ms,解决了直播间各类互动问题。

二、作茧自缚-传统解决方案

传统直播解决方案中主播之间以实时通信的方式传输延时小于 300ms,但是主播与观众之 间通过链路传输、CDN 分发整个延时往往在 3000ms 左右;如下图:

image.png


从图上我们可以看到产生延时的主要原因就是 RTMP 传输链路、CDN 环节、观众播放器缓 存三个环节产生;如果想要提升用户的体验,就必然从这三个环节上做改动,尤其是 CDN 把 持了传输链路环节,然而 CDN 不是你想改就能改的。
基于这样的分析我们可以得出这样的结论:
1)视频 CDN 大大减少了开发人员的工作量;
2)你能做多好,取决于你控制的链路有多长;
3)CDN 侧不可控,所以等待 CDN 的改变也遥遥无期;
4)CDN 侧不可控,所以做一个和服务器交互的低延时播放器也没戏;
5)传统的解决方案是一张温柔而又可怕的温床。

三、蜕变之痛-低延时直播系统

针对上面的问题,我们解决方案简单粗暴:做一个全链路都可以控制的流媒体传输系统, 如下图:

image.png

1. 山重水复疑无路-项目挑战

想好就做,但是蛮干往往没有好结果。这个设计使用 CDN 的思想改造了整个实时通信系 统,既兼顾 CDN 的大并发分发,又兼顾实时通信的低延时。无论是谈实时通信系统还是谈 CDN 都不是个小题目,何况两个融合的系统,这里面“水很深”“坑很多”。

image.png

然而挑战还不止这些,实际的工程中,如何降低延时、如何保证流畅率往往有是相互矛盾 的话题,降低延时就要降低播放侧 buffer 和服务侧的 buffer,随之卡顿率就会上升;而想流畅率 上升就要增大 buffer,随之延时就变得更长;无论怎么调整 buffer,问题都这里,如何解决呢?

image.png

2.柳暗花明又一村-解决方案

低延时直播系统根据具体业务需求,融合 CDN、私有实时通信协议、WebRTC、云原生等 技术完美解决了项目的各类苛刻要求,把问题模型转换为技术角度看:

image.png

1)延时的产生及可控性分析:

image.png


从上图我们可以看出来,可控的唯二也就是传输层、播放器 buffer 两部分了。在低延时项 目中 RDN 系统控制了整个传输过程,优化了每一个细节,把延时降至 118ms 以内,低延时播 放器自适应动态控制 buffer 大小、严格控制音视频加减速,保证流畅率的基础上又使延时在 415ms 以内。通过控制播放侧目标延时实现流畅优先、延时优先两种策略,满足主播连麦互动、 粉丝互动两种业务场景。
2)CDN 进阶为 RDN 系统
传统的 CDN、视频会议系统可以自行查看网上的方案,RDN 系统是一个融合 CDN 架构, 并以视频会议媒体服务器为节点的系统。RDN 在进行媒体传输采用懒加载的方式进行,当主播 把流传输至接收的边缘节点,此时如果有观众播放流,会通过 GSLB 返回最近的边缘节点并进 行资源的索引把流快速的下发至播放侧的传输 SDK。媒体流的分发示意图如下:

image.png

3.唯快不破-传输延时如何降至最低

传输延时、播放侧延时是唯二可控的部分,且看我们如何把传输降到最低:

image.png

1)播放器进阶为低延时播放器 低延时播放器是系统中延时控制的重要环节,是系统中唯一延时可控且可调的部分。相比
于传统播放器功能既要满足流畅率、秒开率、音画同步等用户指标,又要保证延时足够低。低
延时播放器架构图:

image.png

4.用户体验第一-低延时场景下如何保证用户体验

低延时播放器通过定制优化后的 neteq,抵抗网络的抖动、丢包等问题,显著提升弱网情况 下的用户体验,通过滤波后的音画同步方案,保证在音视频快速加减速同时又能保证用户的体验。

image.png

1)扁鹊全链路监控系统 扁鹊系统收集端侧、服务器侧日志,不但整个链路的服务质量,也用于排查各类线上问题。

image.png

四、羽化之美-数据报告

在流畅率、秒开率不低于传统直播方案的场景下,互动延时指标大幅降低 86%。系统自 2017 年稳定运行至今,为直播用户提供了低延时互动、点击即见、清晰、流畅的高质量互动直播间。 并支撑了来疯秀场 PK,低延时直播各类场景,保证了来疯两年多的各类比赛顺利进行。

五、回顾历史-我的思考

低延时直播系统是由传统直播技术、实时通信技术、WebRTC 技术融合,专为互动直播而 生的系统。达到了文字和音视频同步的效果,像“欢迎大哥”“拉拉票”、“打他”这些欢迎、拉票 等直播互动再也不需要等待。回顾整个系统的诞生,我的技术思想也在逐渐的变化,回想初次 接触这三个技术:
1)传统直播技术 = RTMP、CDN、ijkplayer 2)实时通信技术 = MCU、SIP、RTP/RTCP
3)WebRTC 技术 = JSEP、P2P 、SFU、ICE、SDP、neteq 后来深入了解这些技术细节、互动直播业务的需求、开发过程中的痛点,开始思考可以用
这些技术再往前走一步,自研一套低延时直播系统一劳永逸的解决这些问题。经过前期详细论
证确定正确方向后,虽然过程困难重重,秉着“只要路对了就不怕远”“只要精神不滑坡,方法总 比困难多的”精神,最终还是安全的抵达了对岸。


本章内容出自《智慧文娱》电子书,118篇精选文章,900页丰富呈现,覆盖8大技术栈,纵览文娱技术全景。阿里文娱团队匠心出品,点击免费下载完整版!

相关文章
|
10月前
|
存储 缓存 监控
直播系统聊天技术(九):千万级实时直播弹幕的技术实践
疫情期间,线上演唱会是一种很常见的直播娱乐形式,由于线下社交距离的限制,线上形式演唱会比以往更火爆,而对技术的要求也更高。 本文基于网易云信针对TFBOYS某场线上演唱会的技术支持,为你分享千万级在线用户量的直播系统中实时弹幕功能的技术实践,希望能带给你启发。
216 0
|
存储 人工智能 编解码
阿里云助力抖音首次世界杯直播,为中国球迷提供超低延时高清体验
继东京夏奥、北京冬奥之后,阿里云再次成功支持2022卡塔尔世界杯的国内直播。
|
传感器 物联网 机器人
直播回顾 | 第四期直播课堂:5G消息在工业领域的应用分享!
园区作为工业领域重要的一环,智慧化管理发展已吸引社会各界的频频关注。由【中国移动5G消息开发者社区】举办的第四期【直播课堂】在2021年10月28日上午顺利,并以“5G消息在工业领域的应用分享”为主题,特别邀请了米佳、源景智能合伙人王昶带来主题分享与案例讲解。
直播回顾 | 第四期直播课堂:5G消息在工业领域的应用分享!
|
编解码
相亲app开发,关注延时问题优化连麦互动体验
相亲app开发,关注延时问题优化连麦互动体验
|
Web App开发 编解码 边缘计算
基于WebRTC的互动直播实践
互动直播已经逐渐成为直播的主要形式。映客直播资深音视频工程师叶峰峰在LiveVideoStackCon 2018大会的演讲中详细介绍了INKE自研连麦整体设计思路、如何基于WebRTC搭建互动直播SDK以及针对用户体验进行优化。本文由LiveVideoStack整理而成。
796 0
基于WebRTC的互动直播实践
|
算法 前端开发 JavaScript
|
运维 Java 视频直播
一对一源码开发,一对一直播系统如何在直播领域站稳脚跟
在直播发展的过程中,开发系统的直播源码也发展的越来越成熟稳定,尤其是目前很火热的一对一源码。
一对一源码开发,一对一直播系统如何在直播领域站稳脚跟
|
安全 视频直播
一对一直播开发,语音聊天的路还能走多久
一对一直播开发从问世到现在已经经历了多次洗礼,在直播、短视频热度趋于平稳后,一对一直播的关注量和入驻流量变得越来越多。
354 0
|
人工智能 达摩院 机器人
语音机器人现身双11淘宝直播间,千万观众与主播实时语音互动
10月30日消息,刚刚结束的李佳琦直播间里,剁手党通过阿里语音机器人首次实现与主播的实时互动。直播过程中,数十万用户同时用语音回答李佳琦的提问,最终机器人在50毫秒内就完成了语音识别和语音反馈全过程,反应速度是传统语音的20倍。
19726 0
语音机器人现身双11淘宝直播间,千万观众与主播实时语音互动
|
双11 CDN
【直播预告】双11直播技术揭秘:面向未来的直播和RTC技术
在直播电商的加持下,很多企业品牌在今年的“双十一”取得了突破性战绩。有数据显示:今年双11商家采用自主直播的方式带货的GMV同比增长超过500%。直播,正在以一种最轰轰烈烈的方式触达大众生活。
21564 0
【直播预告】双11直播技术揭秘:面向未来的直播和RTC技术