Ali266首次商用落地,助力优酷码率最高节省40%

简介: 已知的业界首个H.266/VVC标准的编码器商用落地项目

阿里云自研编码器Ali266于2022年1月在优酷正式上线,这是已知的业界首个H.266/VVC标准的编码器商用落地项目。经过两个月的实际运行数据显示,开启Ali266后,同等画面清晰度的情况下比原H.265/HEVC方案码率最高节省40%,卡顿率降低50%,充分证明了Ali266的商用价值。


这是已知的全世界最快的H.266/VVC编码器

Ali266,是阿里云基于最新一代国际视频编码标准H.266/VVC所打造的面向点播、直播、实时通信等不同场景的编解码实现。基于Ali266演化而来的自研H.266/VVC编码器S266在MSU2021(世界编码器大赛)上取得了客观赛道8项第一,主观赛道冠军的优异成绩。从已公开的资料可知,Ali266是目前全世界最快的H.266/VVC实时高清编码器,结合自研的H.266/VVC解码器,即使是中低端手机也可清晰流畅地观看最新的H.266/VVC高清视频。


Ali266首次商用,助力优酷

阿里云一直在探索推动Ali266的商用之路,2022年1月Ali266在优酷正式上线,助力优酷率先用上了国际最新的H.266/VVC视频编解码标准。通过近2个月的实际运行显示,开启Ali266后,同等画面清晰度的情况下比原H.265/HEVC方案码率最高节省40%,卡顿率降低50%,在成本和用户体验上获得显著收益,充分证明Ali266的商用能力。

 

阿里云凭借在视频编解码领域的深耕和积累,致力于推动H.266/VVC标准的实用化和最新科技成果的普惠化。优酷是中国领先的在线视频平台,现支持PC、电视、移动三大终端,兼具版权、自制、合制、自频道、直播等多种内容形态,致力于用更丰富的口碑内容、更极致的视听体验、更创新的互动玩法。


提供这些应用体验的背后,是一系列非常复杂的技术,其中最核心、最基础的技术之一,就是视频编解码技术。为此,阿里云与优酷团队密切合作,将Ali266首次商用落地,第一时间上线国际最新发布的新一代视频编解码标准H.266/VVC,让优酷充分享受视频编解码标准升级带来的技术红利。


H.266/VVC标准的由来

说起H.266/VVC标准的由来,不得不提国际上的两大巨头:国际标准化组织及国际电工委员会 ISO/IEC 旗下的动态图像专家组 MPEG(Moving Picture Experts Group) 和国际电信联盟电信标准分局 ITU-T 旗下的视频编码专家组 VCEG(Video Coding Experts Group)。这两大巨头从20世纪90年代初分别发布第一代视频编解码标准MPEG-1和H.261开始,经历了30多年的时间。大家所熟知的H.264/AVC、H.265/HEVC,都是两大巨头通力合作的成果。


继2013年发布H.265/HEVC以来,两大国际标准化组织ITU-T和ISO/IEC继续强强联合,于2020年7月发布H.266/VVC的第一个正式版本。如图 1所示,H.266/VVC在包括图像分块、预测、变换、量化、熵编码和环路滤波等环节提供了多项先进的视频编码工具,较上一代H.265/HEVC标准,其压缩率大约提高了一倍。


1.png

图 1:H.266/VVC底层技术


在叶琰博士的带领下,阿里云从2019年年初开始深度参与制定H.266/VVC标准的制定。历时一年半的时间共提交了近100篇技术提案,并有多项技术提案得到采纳,为国际标准的制定做出了重要贡献,也为阿里巴巴的业务发展建立了坚实的技术基础。在H.266/VVC的制定过程中,阿里云标准团队成员也担任了多个专题讨论组(AHG)和多个核心实验的负责人,在国际标准舞台上发出中国视频产业界的声音。


Ali266:完整的H.266/VVC实时高清编解码能力

在紧跟H.266/VVC的标准化进程的同时,阿里云也第一时间启动了Ali266编解码器的开发项目,打造完整的自成一体的编解码能力,更好地打开端到端的生态,为业界提供新一代视频编解码解决方案。


在解码端,Ali266解码器通过多核并行、汇编优化、内存占用和访存效率优化等一系列工程和算法的优化手段来提高解码速度。集成Ali266解码器的中低端手机也可清晰流畅地观看最新的H.266/VVC视频或直播,近几年发布的旗舰机型甚至可支持4K@30fps的实时解码。


此外,Ali266解码器在稳定性、鲁棒性、内存占用等方面充分考虑了商业化软件的需求,经过Android、iOS等多款高中低端设备的大规模测试,验证了Ali266解码器的鲁棒性、稳定性和可商用性。


在编码端,为满足不同的业务场景需求,Ali266编码器目前支持slow、medium、fast和faster四大档次。其中,slow档次主要适用于离线应用,编码速度与x265 veryslow档次相当。


在MSU主办的2021年世界编码器大赛中,Ali266 slow档次通过阿里巴巴音视频小组命名为S266,获得了全高清(FullHD)客观性能赛道14项评测指标中的8项第一,4项第二,2项第三;在主观性能赛道,S266更是在全球16款参赛编码器中以大比分优势获得第一,在与MSU官方指定的基准编码器x265相同的主观质量下,带宽节省高达71%。MSU大赛结果显示,S266是唯一一个所有指标都进入前三的编码器,充分证明了S266在各指标下全面均衡的编码性能。


为了实现H.266/VVC标准的实用化和最新科技成果的普惠化,经过阿里云团队的持续努力,Ali266于2021年6月成为业界首个公开720p实时高清的H.266/VVC编码器,并于同年9月成为业界首个公开1080p实时高清的H.266/VVC编码器。


与x265 medium档次相比,在相同的质量下,Ali266的faster档次取得的带宽节省高达40%以上,为直播和视频会议等实时视频应用带来巨大的带宽红利。作为第一个实时高清H.266/VVC软件编码器,Ali266在业界走出了重要的一步,证明了现有的算力平台就可以让用户充分享受到国际最新标准H.266/VVC的强大压缩能力。


Ali266首次落地优酷背后的技术方案

移动端接入方案

优酷播放内核将播放流程高度封装成Consumer、open Source、open Decoder、openRender这几个模块。openSource从网络端拿到原始数据,解复用成音视频es数据并进行缓存管理,Consumer将数据不断的从缓存取出送到openDecoder,并从openDecoder拿到解码后的数据,然后将数据交给openRender渲染以及做相关后处理。他们的大致关系结构如图 2所示:


2.png

图 2:优酷播放器架构及Ali266技术方案


openDecoder与解码器之间的交互如图 3所示。openDecoder会将待解码的数据Send给解码器,然后从解码器Receive解码后的数据,Send和Receive都不block播放流程。解码器内部维护输入输出buffer,Send将数据copy到input packets,worker从input packets拿数据解码,解码后的数据被存入output frames,然后Receive就能拿到有效数据去渲染。


3.png

图 3:优酷播放器与Ali266交互细节


优酷播放内核的跨平台、可扩展、高可靠特性保障了Ali266快速顺利的在优酷平台上落地。播放内核是native层开发的,具备天然的跨平台特性,所以接入Ali266之后,不需要做太多额外的开发就可以在多个平台迅速发布,这也为Ali266快速在业务端铺量提供了保障。openDecoder封装了所有解码相关的逻辑,对外只暴露几个简单接口与内核完成逻辑交互,所以要接入Ali266软解码器,只需要实现openDecoder的关键api即可,将解码器与播放器的复杂逻辑剥离开来,方便快速接入新的解码器。播放内核实现了智能平滑丢帧系统,可以在极端情况下丢弃部分非关键帧从而保证视频画面流畅播放。借助播放内核完善的质量监测系统,Ali266的线上播放质量得到全面监测和有效保障,使国际最新一代编解码标准在优酷的升级如丝般顺滑。


服务端接入方案

优酷转码服务端当前支持不同编码器(H.264/AVC、H.265/HEVC等),不同分辨率(270p到8K),不同帧率(25fps/60fps/120fps等)、不同封装格式(mp4/hls/cmaf等)等上百种组合方式,服务端可以依据端侧播放能力来下发不同的流数据,来保证用户的体验最优。


在优酷转码系统中,Ali266的接入主要包括编码器接入,解码器接入以及封装格式对H.266/VVC的支持,所涉及的模块与转码流程如下图所示:


4.png

图 4:Ali266接入优酷服务端模块图


封装层:优酷常用封装格式主要是MPEG-TS和MP4,服务端在Demux和Mux模块中实现了对H.266/VVC码流封装和解封装的支持。


编解码:通过在转码器中对Ali266Encoder和Ali266Decoder的注册和API调用来完成编码和解码的接入。在生产链路中为了正确探测H.266/VVC码流参数信息,在Demux模块中集成了对H.266/VVC码流的Probe、Parser能力以及Ali266Decoder。


为了使Ali266编码器能够更好的适应优酷应用场景,优酷服务端与阿里云团队相互协作,做了针对性的适配:


(1)为了提升H.266/VVC视频的播放效果,对编码器支持了编码参数信息重复下发能力,保证了用户快进快退和拖拽播放时的体验。


(2)为了视频的画质与流畅性,对Ali266Encoder针对性地做了码率控制优化,在保证视频画质的同时,降低码率波动,将播放端卡顿率相比H.265/HEVC降低了50%。


(3)为了适配优酷的智能档多清晰度随带宽平滑切换,在Ali266Encoder中对时间戳处理进行优化,使得音视频时间戳与其他格式码流(H.264/AVC、H.265/HEVC)保持一致,确保了优酷智能档无缝自适应切换。


(4)实现了优酷现有MP4/MPEG-TS的流媒体封装格式对H.266/VVC标准的支持。由于H.266/VVC标准发布时间不久,各种媒体处理工具还没有支持对H.266/VVC的封装。为此,优酷开发人员按照MPEG官方文档,在MP4 box与TS的PMT中使用官方定义的CodecId,与播放器配合打通了整个生产播放链路。


除此之外,在生产链路中优酷也针对H.266/VVC做了分辨率-清晰度档位的规格定义,并在播放服务端可以依据端侧支持能力自适应选择H.266/VVC合适档位的视频流下发,使H.266/VVC编码在优酷生产播放链路上整体落地,并达到了预期的效果。


业内首款H.266/VVC商用落地结果

Ali266于2022年1月份在优酷移动端正式上线,成为目前已知的业界首个H.266的商用落地项目。上线后截至3月23日,已经累计播放超过六十万次。各项指标如下:


  • 码率:同等清晰度情况下比H.265码率降低高达40%;


  • 体验:同等情况下卡顿率只有H.265的50%,平均解码耗时在8ms左右,稳定性超过99.95%;


  • 功耗:满电可H.266软解播放10小时,节省流量达到1G;


  • 内容:涵盖了热门的综艺、电影、电视剧等多种场景,如《古董局中局》、《长津湖》等电影,《麻花特开心》等综艺,《真相》等电视剧。


未来,持续进化Ali266的商用之路

据了解,联发科在2021年下半年发布了全球首款7nm工艺制程打造的电视SoC芯片Pentonic 2000,也是世界首批支持 H.266/VVC视频解码的芯片,具有8K/120Hz的解码能力。这对于完善H.266的生态,是个巨大的助力。可以说,H.266/VVC不是将来时,而是实实在在进入了现在进行时。


Ali266紧扣最新技术发展趋势,与音视频产业紧密结合,不仅给优酷提供了业界领先的编解码技术,也赋予了业务更多的可能性。为了进一步满足对优酷丰富的内容形态及业务场景的支持,挖掘新技术带来的红利,促进视频产业不断向前发展,接下来阿里云将会与优酷一起紧密合作,针对10bit HDR、优酷自由视角、超高清4K~8K、高帧率60fps~120fps等视频内容,并从点播场景进一步拓展到直播场景,持续持续推进H.266/VVC编解码的技术创新,不断探索创新音视频技术,加强其在更多视频应用、更多终端设备上的普适性,将更多的技术普惠到广大消费者,赋能千行百业的视频化需求,催生新兴产品形态和业务模式,为观众带来更极致的视听体验和更创新的互动玩法。



「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实践技术文章,在这里与音视频领域一流工程师交流切磋。公众号后台回复【技术】可加入阿里云视频云产品技术交流群,和业内大咖一起探讨音视频技术,获取更多行业最新信息。


相关文章
|
监控 前端开发 Cloud Native
解决WebSocket通信:前端拿不到最后一条数据的问题
解决WebSocket通信:前端拿不到最后一条数据的问题
804 0
|
存储 分布式计算 运维
【2023云栖】刘一鸣:Data+AI时代大数据平台建设的思考与发布
本文根据2023云栖大会演讲实录整理而成,演讲信息如下: 演讲人:刘一鸣 | 阿里云自研大数据产品负责人 演讲主题:Data+AI时代大数据平台应该如何建设
103796 16
|
3月前
|
人工智能 Cloud Native Apache
Flink Forward Asia 2026 官宣深圳|From Cloud Native to AI Native
Flink Forward Asia 2026将于6月26–27日首次落地深圳,主题为“实时数据,智能未来”。大会聚焦Flink从Cloud Native迈向AI Native的演进,发布Flink 2.0、Paimon 2.0、Fluss 1.0及Flink Agents等重磅进展,并联合NVIDIA、阿里云共探实时AI与多模态流处理。免费报名中!
1294 1
|
存储 人工智能 数据处理
Flink Forward Asia 2025 主旨演讲精彩回顾
Flink Forward Asia 2025 在新加坡开幕,聚焦实时数据与 AI 融合。Apache Flink 推出新子项目 Flink Agents,支持系统触发的 AI Agent 应用,提升实时处理能力。Flink 2.0 实现存算分离,迈向云原生架构。Paimon 支持多模态数据存储,Fluss 成为面向 AI 的流表存储系统。大会展现 Flink 生态全面拥抱 AI 的未来方向。
955 1
Flink Forward Asia 2025 主旨演讲精彩回顾
|
网络协议 算法 Linux
【嵌入式软件工程师面经】Linux网络编程Socket
【嵌入式软件工程师面经】Linux网络编程Socket
782 1
|
人工智能 编解码 文字识别
OCRmyPDF:16.5K Star!快速将 PDF 文件转换为可搜索、可复制的文档的命令行工具
OCRmyPDF 是一款开源命令行工具,专为将扫描的 PDF 文件转换为可搜索、可复制的文档。支持多语言、图像优化和多核处理。
1636 17
OCRmyPDF:16.5K Star!快速将 PDF 文件转换为可搜索、可复制的文档的命令行工具
|
存储 Unix Shell
Shell 输出命令完全指南:echo 与 printf 的深度剖析
本文深入解析了 Shell 编程中 `echo` 和 `printf` 两个核心输出命令的用法与区别。`echo` 简单易用,适合基础输出;`printf` 功能强大,支持复杂格式化。文章从语法、转义序列、高级技巧到实际应用场景(如日志记录、进度显示)逐一讲解,并对比两者的性能与适用场景,帮助开发者根据需求灵活选择。最后通过进阶技巧和常见问题解答,进一步提升对两者的掌握程度。
950 1
|
安全 Unix Linux
Linux的优点和缺点
【8月更文挑战第8天】 Linux的优点和缺点
1274 6
|
Android开发 异构计算
Android图形显示系统——下层显示4:图层合成上(合成原理与3D合成)
Android显示之图层合成 要点 1.图层合成指综合各个窗口的绘制内容,送往LCD显示的过程。从原理上可分为在线合成与离线合成两种方式。 2.在Android的SurfaceFlinger代码流程中,图层合成方式分3D合成(OpenGL)和硬件合成两大类。 3.图形系统采用垂直同步Vsync机制,由LCD上报vsync,触发图层合成。 图层合成的原理
6640 0
|
算法 C# 微服务
【C#教程】零基础从入门到精通
【C#教程】零基础从入门到精通
747 0