在NAB大会上,资深多媒体技术咨询师Jan Ozer对包括HEVC、H.264、AV1、VP9和RealMedia HD在内的主流Codec开发组织进行了访谈,通过本文可以快速了解Codec的现状。有趣的是,尽管HEVC、AV1可以带来可预期的收益,但需要付出许多额外成本甚至不确定性。相比而言,基于成熟的Codec(如H.264)的优化带来的收益更加务实。LiveVideoStack对文章进行了摘译。
文 / Jan Ozer
译 / 蒋默邱泽
审校 / Ant
原文:http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/NAB-Roundup-The-State-of-HEVC-AV1-and-Proprietary-Codecs-124455.aspx
H.264仍然领先,新鲜的HEVC开始获得吸引力,而AV1也不缺小伙伴。从我的角度来看NAB 2018是一场Codec的秀场,按戏份从多到少依次为AV1和HEVC、V-Nova PERSEUS和RealMedia HD。
HEVC的现状
HEVC在2013年3月发布,到了2018年已经过去差不多5个年头。HEVC的开局异常混乱,他那破碎且不完整的专利池让人崩溃。后来,以黑马出现的AOM联盟和AV1竟然成为一个重要的竞争对手。
在过去的12个月里,苹果公司的产品价格已经达到了很高的水平并且开始支持HEVC,而MPEG主席Leonardo Chiariglione公开表示“MPEG授权模式临近破裂”。今年1月苹果同时加入了AOM联盟,这有损苹果对HEVC承诺。
Encoding.com 最近发布了全球媒体格式报告,公司总裁Greg Heil表示:“2017年有一大波客户测试和计划使用HEVC,但还没有看到任何一家主流视频平台迁移到HEVC。”
云编码提供商Hybrik CEO Dave Trescott提到“虽然苹果公司声明引起很多人兴趣,但现实是HEVC编码使用客户数量还是相对较少;因为更多不是HEVC本身,而是由于其他技术驱使。”Trescott提到:大多数使用HEVC的客户都考虑4K和DolbyVision,但不包含HLS中使用HEVC这一场景。
AV1为部署提供了12~24个月预备期,这给了HEVC留下关键的喘息机会,至于行业如何选择就看谁的速度更快了。
尽管HEVC Advance 确认不会向非实体内容征收专利费,而MPEG LA则永远不会这么做。Velos Media拒绝给出明确的立场。
AV1
AV1在3月下旬完成1.0版定稿,在AV1发布会上,AOM联盟执行总监Gabe Frost定义了四个阶段周期:
发布正式版本并冻结代码
在浏览器中实现以及开发编码工具
通用优化及GPU优化
在市面的芯片中实现编码和解码
根据Frost的说法,第4阶段将耗时约24个月,这意味着在手机、智能电视、机顶盒和其他硬件设备提供AV1硬件解码至少到2020年春季。这为HEVC占领市场至少留出24个月喘息机会。
与此同时,Facebook发布了基准测试的结果,显示出AV1对比VP9的 1080p分辨率节省约36%带宽,不过AV1的编码速度为:编码1秒钟时间为5小时。
Netflix的编码算法总监Anne Aaron表示:“AV1现在编码时间非常非常缓慢......但是我期望未来预计复杂度会下降,AV1的复杂度大概比VP9 高5~10倍。”
AOM联盟成员公司正在努力推进,今天实验开发版的Chrome和Firefox上播放AV1。在采访中Aaron表示:“我们已经将AV1编解码器集成到了我们的任务流和基本编码框架中,并且我们看到了非常好的结果,我们希望解码器和浏览器能够开始播放它们以便我们可以部署视频流。” YouTube也有类似的意向,他们应该在短期内开测部署AV1视频。
在解码复杂度方面,Bitmovin展台使用Mozilla Firefox演示,他们使用Dell消费级笔记本电脑播放1080p视频的CPU占用率低于50%,之前采访中我记得比VP9大概多2~3倍CPU占有率,并已经接近未被CPU加速的HEVC解码是的CPU占有率。当然现在大多数的HEVC可以被CPU或GPU芯片硬件加速,所以HEVC比AV1更加高效。
在接下来的12个月内,AV1编码的计算力是VP9的5~10倍,并且只能在开发版浏览器中放。虽然AV1质量诱人,但是短期内绝大多数的生产商中不会贸然使用。
其他编码解码器
V-Nova的PERSEUS编解码器于2015年4月愚人节推出,随后的三年里主要提高编码质量并简化部署方法。PERSEUS能够在计算机和移动终端上进行硬件H.264和HEVC解码,且对硬件要求非常低。
硬件编码服务商NGCodec的Oliver Gunasekara在采访中谈及了硬件编码在HEVC、VP9及AV1上的现状与未来。
其他编码黑科技
除了推进新的编解码器之外,多家供应商正在寻求通过先进的编码技术提高H.264的效率。例如: Bitmovin宣布了AI编码,CEO Stefan Lederer在采访中表示:“典型的编码器有一个或两个步骤完成编码,我们要做第三步是通过机器学习和人工智能驱动,以更好地感知内容、类型、长度及特征,从而更有效的进行编码。”
Mux的CEO Jon Dahl发布他们新的内容动态梯度编码。
Brightcove他们的内容感知编码(CAE)自2017年开始推出,他们客户Young Hollywood采用CAE编码后存储节省20%,带宽节省17%。
AWS Elemental发布了“质量自定可变编码(QVBR)”能够保持高质量内容的同时,自动调整内容的复杂度,从而减少存储空间并降低分发成本。Harmonic也提供了这项功能。
一些厂商展示了通过per-title编码的优化方式,EuclidIQ展示了 他们的AI内容自适应编码平台Rithm,它拥有两项专利技术:信号自适应码流预估(SABRE) 和感知优化质量(PQO),可节省高达75%的文件空间。
在Beamr Transcoder中展示了产品优化技术,该技术将H.264和HEVC两种编码进行结合优化。
ZPEG声称可以将H.264、VP9、MPEG2和HEVC配合使用并且转码,并节省约25%净成本。
有趣的是,HEVC和AV1这类新的Code在带来性能提升的同时也带来了各种麻烦,它们需要大量测试和额外播放器开发、编码调优和存储成本。相比而言,per-title编码是更务实的优化方式。正如Bitmovin的CEO Lederer所说:“你不必等待最新的编码器进入市场,你可以将新技术应用于当前成熟的编码器比如H.264,你不但减少客户浪费的时间和支出,同时也增加观众对视频内容吸引力。”
WebRTCon 2018
WebRTCon 2018将于5月19-20日在上海光大国际会展中心举行,这是一次对过去几年WebRTC技术实践与应用落地的总结。
大会组委会以行业难点为目标,设立了主题演讲,WebRTC与前端,行业应用专场,测试监控和服务保障,娱乐多媒体开发应用实践,WebRTC深度开发,解决方案专场,WebRTC服务端开发,新技术跨界,WebRTC与Codec等多个专场。邀请30余位全球领先的WebRTC技术专家,为参会者带来全球同步的技术实践与趋势解读。
WebRTC与Codec
从VP9、H.264、HEVC、AV1再到AVS2,WebRTC正在努力和业界主流的Codec整合、优化,北京大学教授王荣刚、Google软件工程师姜健、英特尔实时通信客户端架构师邱建林将分别介绍AVS2、VP9和H.264的优化和演进。上海交通大学图像通信与网络工程研究所副所长宋利会分享学术界在Codec优化的最新思路与尝试,他会介绍AI、区块链和大数据赋能的Codec。
点击【阅读原文】,了解更多专题及分享相关信息。