从成本到体验,阿里云超低延时直播技术背后的技术演进之路

简介: “今年在疫情的影响下,许多线下活动都不得不搬到了线上、搬到了云上。云上卖货、云上上课、云上篮球、云上招聘、甚至云上火锅等。这些云上活动背后实际上就是直播技术。直播是一个历史悠久的技术。今天常用的 RTMP 直播协议已经诞生 20 多年。这 20 多年来直播技术是怎样演进的?今天直播有什么新趋势?今天直播最关键的核心技术点是什么?”

来自阿里云智能视频云的资深技术专家 —— 致凡,将以直播技术为主题带来《极致观看体验:超低延时直播技术》的演讲,为大家解答以上问题。

直播新趋势

image.png

直播技术的发展,需要从当下的直播趋势来看,2020 年的直播趋势,我认为主要有三点:
第一,在线直播的用户规模不断增长。根据著名的思科互联网趋势报告,预测今年直播新视频内容将占到整个互联网流量的 82%,其中直播流量将占到互联网流量的 17%。也就是说全球超过六分之一的互联网流量是直播流量。其实在中国我们也看到了直播用户的迅猛增长。预计今年直播用户的规模将达到 5.3 亿人。

第二,直播 + 的模式发展迅速。其中最受关注的是电商直播,各大直播平台都推出了网红直播带货、名人直播带货,受到全社会的关注。此外,直播 + 娱乐、直播 + 公益、直播 + 教育、直播 + 体育等各种形式方兴未艾,直播技术正在向社会的各个方面渗透。

第三,新的技术正在带动直播的发展。5G、AI、AR、VR 这些新的技术不断被应用到直播中。其中最重要的技术还是实时互动技术,它能最有效的提升用户的体验。想象这样一个场景,你正在观看一场精彩的世界杯足球决赛,场面很精彩,气氛很紧张。突然隔壁老玩家想起了一阵欢呼声,而你的屏幕上什么也没有发生,这是多么令人崩溃的一种体验。

这样的体验在过去的直播中很普遍,而低延时直播技术就是改变这种体验的关键。

直播技术三要素

image.png

说到直播技术,我们先看一下直播的三个重要元素:成本,质量和延迟。成本考虑是直播的人群触达率、设备触达率、带宽和存储成本。对一场直播成本考虑是如何高效便捷的触达到直播的受众,并且能够快速的规模化到百万千万的并发。

第二是质量,考虑的是音视频的画面清晰度,流畅度,卡顿率、秒开率这些指标。高清晰的画面和高保真的音效,能给人一种身临其境的感觉,增加直播的体验。

第三是延迟,指的是主播端的画面传递到用户屏幕所耗费的时间。低延迟是实时互动的关键。成本,质量和延迟之间是一种相互平衡的关系。

举一个例子,为了追求高质量,有时就不得不在延迟上做出让步。不同的直播技术,不同的直播场景都是在这三者之间进行平衡和选择。

有些直播场景对实时互动的需求不高。我们就可以选择增加时延,从而提升质量,降低成本,反之亦然。低延迟是目前直播的核心技术。

直播技术协议的演进

image.png

从直播协议的演进来看,它分成了三大块。第一块是专有协议,其中最主要的代表是 RTMP 和 RTSP 。这些协议需要专门的服务器支持。最开始的分发成本较高,同时也存在播放器的支持问题。

因为这些协议出现的时间较早,比如 RTMP 已经出现了快 20 年。目前各大厂商对 RTMP 都有很好的支持。但是由于苹果宣布 iOS 设备不再支持 Flash ,所以 RTMP 目前主要还是用在推流侧。RTMP 作为全链路直播协议将逐步淡出舞台。

接下来的直播协议是基于 HTTP 的分片协议。其中最主要的代表是苹果推出的 HLS 和安卓阵营推出的 DASH,类似的协议,还有微软的 Smooth Streaming 和 Adobe 的 HDS 。

因为这些直播协议底层都是基于 HTTP 的,所以适用性更好,设备触达率更高。对 CDN 的支持也更好。同时因为采用了分片转码技术,可以较好的适配用户的不同网络状况,能有效的降低播放器的卡顿率,提升画面质量。

不过这样带来最大的问题就是延迟,播放器需要缓存多个分片,导致延迟一般都在 5-30 秒。需要看到的是,这些技术已经在逐步向低延迟方面发展。包括苹果最近宣布的 Low-Latency、HLS 以及标准设计推出的基于低延迟的 LL-CMAF。

这些低延迟的扩展。根本的目的就是为了有效的降低时延。第三类也就是最近才兴起的基于 UDP 的直播技术。

其中最有代表的是 SRT 以及这一次我们阿里云推出的超低延时直播技术 RTS 2.0 这类基于 UDP 的直播协议,通过对网络的抖动进行主动控制,通过带宽预测、丢包重传等优化来降低时延。

但是这些协议还需要 CDN 厂商的支持和播放器的支持。目前阿里云的 CDN 已经全面支持 SRT 推流和超低延时直播 RTS。下面我们具体对比一下刚才说到的各种直播技术在延迟方面的表现。

首先我们大致把延迟分成几类,普通延时、优化延时、低延时、超低延时,比超低延时更低的就是实时通话了。

需要说明一点的是,通常的带宽电视的延迟一般是在 5 秒左右,低于 5 秒的延迟才可以被称为低延时。

image.png

大家看到在图上最左边的是 DASH 跟 HLS,它们的延迟相对较高。通常在 10 到 45 秒之间,接下来是 RTMP ,根据不同的配置延迟一般在 2 到 30 秒之间。但是通常的延迟在 10 秒左右。

图中的中部,我们看到低延时区域有 LL-HLS,LL-CMAF 和 SRT,他们的延迟大概能做到 2 秒以内。在超低延迟部分,就是我们这次阿里云推出的低延迟直播技术 RTS,延迟可以做到一秒以内。

图中最右边的就是实时通话。比如目前流行的 WebRTC,它的延迟能够做到 300 毫秒以内。需要指出的是阿里云的低延迟直播在连麦的部分主播和连麦嘉宾走的就是 RTC 的通道,延迟也能做到 300 毫秒。

传统直播延时的来源

image.png

我们具体看一下传统直播的延时主要是从哪些方面产生的。

我们把直播的电路分成 5 个部分,采集编码,上行推流,CDN 分发下行推流和解码渲染。我们以一个标准的 HLS 的直播为例子,看一下上述这五个部分对直播时延的影响。采集编码端的延时主要来自对视频编码器的选择和编码器内部的配置。不同的编码器配置。比如是否支持 B 帧,Look Ahead buffer 大小都会对延迟造成不同的影响。

上行推流和下行推流的延迟主要是直播协议所依赖的底层网络协议,TCP 或者是 UDP,TCP 是可靠协议,保证数据不丢包不乱序,代价就是增加了延时,而 UDP 能够更灵活的丢包策略和重传机制,可以有效降低网络的延时。CDN 分发中的延时,主要来自于转码和切片缓存带来的延时。

最后在播放端是渲染的延时主要是网络的延时和播放器的缓存。前面提到过 HLS 和 Dash 这样的协议,播放器必须缓存多个时间片,从而造成了最主要的时间延迟。

image.png

阿里云直播 RTS 延迟优化

image.png

首先需要了解我们阿里云的低延迟直播技术,RTS(Real Time Streaming)是如何在产生直播延迟的这几个关键路径上进行优化的。

在采集和编码侧我们进行了优化,采取了阿里巴巴自研的 H265 编码器 S265。这是一个高性能低延时的编码器。对比业界标准的 X265,在压缩效率上有 20%-30% 的提升,同时速度也更快。

此外还采用了自适应编码,ROI 编码这些智能技术,进一步提升画质,降低码率,从而降低时延和卡顿。音频方面采用了最新的智能降噪有效去除背景噪声。

另外直播推流 SDK 还集成了美颜、美妆、人脸贴纸、背景替换这些功能。并且充分利用了阿里巴巴的低延时 RTC 技术进行实时连麦功能。

在上行推流侧,阿里云的直播解决方案,支持 RTMP、SRT、RTP 等多种推流方式,也支持移动端、PC 端、H5 终端。CDN 分发我们利用最先进的载带高清技术进行转码优化。在降低码率的同时,也全面提升了画质的清晰度,支持 8K 的高清,千万级的并发的直播。

同时对 CDN 的传输链路进行了全方位的优化。前链路支持 RTP 同时利用智能路由降低时延。

在下行侧我们支持多种协议进行拉流,RTP、RTMP 和 HLS 拉流。在解码线上侧我们提供了播放器的 SDK,利用低延迟 RTC 技术,大幅度降低了播放器的缓存,增强了网络抵抗的能力,使得卡顿率低于 1%。

同时支持移动端、PC 端、H5 终端对视频进行后处理,进一步提升视频质量,同时支持 DRM 加密。

通过对上述全链路的优化,最终从整体上消灭了大部分的直播延时,实现了一秒以内的低延迟。

阿里云 CDN 低延迟传输优化路径

image.png

传统的 CDN 支持底层 RTP 协议媒体数据,通过 RTMP 帧传输。

在这个基础上,我们首先对下行链路进行了改造,让下行链路支持 UDP 协议,通过 RTP 进行媒体数据的传输,通过转码具备 AAC 和 Opus 的转码能力,这样就能大幅度的降低播放端的网络延迟和播放器的缓存,从而降低时延。

第二步就在这个基础上进行了上行链路的优化,让推流侧也支持 RTP,从而让全链路都支持 RTP 协议,通过 RTP 进行数据传输,从而进一步降低直播时延,同时也避免了不必要的转码。

在 2020 的云栖大会上,我们也重磅推出了阿里云直播 3.0 和阿里云低延迟直播 RTS 的升级,RTS 2.0。RTS 2.0 在抗弱网、开放性、秒开、兼容性、稳定性方面都相对 1.0 有了较大的提升。

阿里云直播 3.0 的一站式解决方案

image.png

演示图左边是推流端,我们提供了一体化的推流 SDK,支持 RTMP、RTP 推流、支持连麦、美颜、美妆、支持 H265 和智能编码技术。

中间是阿里的云上直播链路,依赖于底层阿里巴巴的全球 CDN 加速网络 GRTN,支持 RTMP、HLS、SRT、RTS 多种直播协议。

上面是强大的导播台和媒体处理中心能力,支持窄带高清、截图、录制、加密、时延、安全审核、视频 AI 等多种能力。

在最右边是播放端,我们提供了多终端的播放器 SDK, 具备强大的渲染能力,支持音视频的后处理,这是 DRM 加密,这是多种拉流方式,从而整体形成云端一体的一站式直播解决方案。

阿里云直播 3.0 的优势

image.png

第一是高性能推出了超低延时的直播技术 RTS 2.0,保障秒级的延时和低于 1% 的卡顿率。自研的窄带高清技术在降低码率同时达到千万级的并发。

第二是全球化,全球 2800 家的直播节点,130T + 的带宽储备能力分布 70 多个国家和地区,多直播中心,服务全球用户。

第三是多终端,提供推流 SDK 和播放器。SDK 的多终端和多协议支持。

第四是智能化,提供各种视频 AI 服务能力。包括鉴黄鉴恐、广告识别、语音识别等。

第五是数据化,提供多维度的数据监控和数据分析。

第六是行业化,提供多个行业的解决方案,让直播技术更好的为您的行业赋能。

这就是我今天的全部分享内容。希望大家记住一句话的话,那就是上云,就上阿里云,直播就用阿里云直播。谢谢大家。

「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实践技术文章,在这里与音视频领域一流工程师交流切磋。

image.png

相关文章
|
2月前
|
编解码 人工智能 安全
阿里云首批卓越级通过中国信通院超低延时直播性能分级评估
近期举办的2024“可信云大会”上,中国信通院正式发布了2024年上半年音视频领域最新评估结果。阿里云超低延时直播,以首批卓越级,通过中国信通院超低延时直播性能及服务质量分级测试。
阿里云首批卓越级通过中国信通院超低延时直播性能分级评估
|
1月前
|
Web App开发 编解码 视频直播
视频直播技术干货(十二):从入门到放弃,快速学习Android端直播技术
本文详细介绍了Android端直播技术的全貌,涵盖了从实时音视频采集、编码、传输到解码与播放的各个环节。文章还探讨了直播中音视频同步、编解码器选择、传输协议以及直播延迟优化等关键问题。希望本文能为你提供有关Andriod端直播技术的深入理解和实践指导。
46 0
|
6月前
|
Web App开发 编解码 网络协议
视频直播技术干货(十一):超低延时视频直播技术的演进之路
本文将带您了解超低延时视频直播技术的优化和演进历程。
126 0
视频直播技术干货(十一):超低延时视频直播技术的演进之路
|
视频直播
视频直播源码技术知识分享:连麦功能(一)
我们开发视频直播平台就要去了解视频直播开发相关功能知识,这对我们开发平台有着重要的作用,连麦技术就是视频直播源码重要的技术功能之一,每一个功能技术都有自己的用武之地
视频直播源码技术知识分享:连麦功能(一)
|
存储 编解码 缓存
HTTP Live Streaming直播(iOS直播)技术分析与实现
HTTP Live Streaming直播(iOS直播)技术分析与实现
177 1
|
视频直播 定位技术 UED
海外视频直播源码技术视频直播间的搭建
大家听到这里是不是感觉这个源码平台非常的熟悉,没错,这个源码平台就海外视频直播源码平台,而我说的这个房间就是视频直播间,主持人就是视频直播间内的主播,今天我就为大家分享海外视频直播源码技术视频直播间的搭建。
海外视频直播源码技术视频直播间的搭建
|
视频直播
《阿里云产品手册2022-2023 版》——视频直播
《阿里云产品手册2022-2023 版》——视频直播
118 0
|
人工智能 计算机视觉
|
弹性计算 编解码 负载均衡
阿里云视频直播Live降价15-20%
阿里云视频直播Live降价15-20%,阿里云产品大规模调价,核心云产品价格全线下调,技术红利释放核心产品最高降幅50%,以下产品的价格调整将于2023年5月7日生效,最终以产品详情页实际情况为准,阿里云百科分享阿里云官网发布的降价产品及降价幅度说明:
234 0
下一篇
无影云桌面