本文来自北京大学 教授 王荣刚 在LiveVideoStackCon 2018热身分享，并由LiveVideoStack整理而成。在分享中，王荣刚分析了视频行业的发展背景与编码标准的演进情况，并重点介绍了基于AVS2标准的实时视频编解码器的实现和应用进展。
文 / 王荣刚
整理 / LiveVideoStack
直播回放：
https://www.baijiayun.com/web/playback/index?classid=18072579438145&session_id=201807260&token=PsTmsjVpbRht681rrJ0J_Xl0fbNahfHFmF1doYNdca5XBFzghyiw19mnJwk0S3tXOBORUT217bsKp0fXMnVKLQ
大家做视频技术的都知道，视频跟其他的数据不太一样，因为它需要一个生态。由于视频的数据量特别大，它无法通过原始格式在网上传输，因此在这里就涉及到压缩，压缩就涉及到压缩算法的问题。压缩算法需要满足大家可以互联互通，这里涉及到要有一个共同的标准或者规范。在过去的差不多30多年，视频技术的发展一直都是靠视频编码标准推动的。
今天的内容主要围绕下面几个方面：
行业背景
1、超高清视频发展趋势
在行业背景方面，视频的技术发展是朝着超高清方向来发展的，就是不断的向现实逼近，我们过去都是标清，后来又到高清3D，最近的是4K，包括还有VR，如上面所列的一些大的事件，这些大的事件都是推动了4K或者超高清视频技术的使用或应用，这里面比较有代表性的就是世界杯采用了4K的直播技术，而8K和VR也是近几年马上就要推行的事情。
2、视频编码挑战依旧
对视频压缩技术的挑战还是依旧的，这里面列了从高清到4K的压缩码率的情况。现在以4K为例，如果要保证一个非常高的质量，像广播电视领域，它用的这个带宽还是非常高的。差不多传4K的视频要40M左右的码率，到后面8K，VR所需的带宽就会更高，对视频压缩技术的需求依然是存在的。
3、国际视频编码标准演进
我们看一下国际视频编码标准演进的情况，一般认为第一代标准是MPEG2，MPEG2的典型应用就是标清视频，比如说DVD，传统的广播电视都是MPEG2，到第二代标准就是以H264为代表的，那它的应用是高清视频的传输，到现在是第三代标准，那就是以H.265为代表的，它的目标是传输超高清的视频。在后面我会讲，H.265面临一个授权成本过高或者风险过高的问题，由于这样的背景，现在出现了几个新的挑战者，包括Google主导的AV1，也包括我们国家制订的AVS2的标准，这个是第三代标准。现在国际上MPEG和ITO正在联合制订第四代，叫H.266/VVC，实际上国内的AVS工作组也在制订下一代的标准AVS3。
4、HEVC/H.265标准专利收费乱局
现在的视频大部分的压缩格式采用的还是H.264标准，H.265或者其他格式所占的流量还是很少的，这里面有个主要的原因就是H.265的知识产权的政策跟H.264有很大的不同，这张图给出了目前已经知道的H.265的专利权所有者：
这个里面有三个圈，这三个圈代表三个不同的专利池，所谓的专利池就是说大家组团收专利费的意思。在MPEG2和H.264时代没有这么多专利池，只有一个MPEG LA的专利池，专利池的好处就是对一个标准的使用者来说，它交这个专利费，只要符合专利池的政策，按照专利池的政策收费标准来缴费就可以了，他不用去跟每个专利权人单独去谈。但是到了H.265这个标准以后就有一个很大的变化，有一些专利权人不再对MPEG LA制订的收费政策感到那么满意了，他们想再搞一套自己的收费政策，所以就出现了HEVC Advance，Velos Media两个新的专利池。除了这两个专利池以外，还有大概15家公司不在这三个专利池里，他们试图单独的来授权，但是在这么多专利拥有者中，只有MPEG LA，和HEVC Advance目前公开了他们的收费政策，Velos Media和另外15家公司始终是没有公开他们的收费政策的。从MPEG LA和HEVC Advance公开的收费政策看，他们的收费价格已经比H264基本上高一倍了，剩下的还没有公布如何收费的，不知道应该交多少钱，也就造成了H.265专利收费的乱局，这在国际上引起了广泛的忧虑。
AVS2标准
1、AVS工作组
AVS工作组是数字音视频编解码技术标准工作组的简称，由国家工信部于2002年6月批准成立。工作组的任务是向我国的信息产业需求，联合国内企业和科研机构，制（修）订数字音视频的压缩、解压缩、处理和表示等共性技术标准。目前有近100家会员单位。这里面包括华为，中兴，腾讯，还有一些学校，北大、清华，浙大和上海交大等等，工作组除了制订视频标准以外，还制订音频标准，系统层的标准。最近，这个工作组还在往人工智能方向扩展，新成立了一个基于AI的工作组，这个AI工作组里面，也会做一些人工智能方面的一些基础共性的标准。
2、AVS标准授权政策
AVS标准的一大创新是在标准制定之前先确立许可模式，有效避免类似HEVC收费乱局，凡是向AVS工作组提交技术和提案的单位都需要对其专利许可意向做出承诺，允许“免费使用”或者“加入AVS专利池”。 AVS专利池管理委员会出台《关于AVS2专利池许可的建议性规定》，在规定中指出，AVS2的专利授权采用一站式许可模式，只对设备象征性收费，不对内容服务收费，对互联网上的软件服务免收专利费。
3、AVS视频标准演进过程及技术框架
AVS标准的演进过程，实际上主要是有两代标准：第一代叫AVS1标准，于2006年发布成了国标，它的主要应用场景是地面电视，到了2012年，AVS1做了一些小的改进，发布成了一个新的广电的行标叫AVS+，这个主要在高清卫星上面应用，现在大家看到的央视上带星的高清节目，都是用的AVS+标准，第二代叫AVS2标准，是面向超高清的视频应用的，于2016年12月份发布成了国标。
AVS2技术的基本框架和MPEG2及H.264是类似的，依旧是变换加预测的混合架构，这里面在每一个模块上都做了一些技术上的革新，大概在性能上就比上一代H.264，或者AVS1，AVS+提升了一倍以上。
4、AVS2编码效率优于HEVC
与HEVC做对比，在PSNR相同的情况下，码率相对低就是负值，码率高就是正值，在这个表里负值就表示AVS2好，正值就表示HEVC好。从不同的应用场景来综合评估下来，AVS2总体上的编码效率优于HEVC。
国家广播电影电视总局广播电视计量检测中心做了一个主观测试，这个主观测试是针对了8个4K、10bit的视频序列，目标平均码率为36Mbps，在这个码率条件下，AVS2和HEVC用的都是参考软件来压缩的，参考软件基本上可以达到的最优的性能。
从这个主观测试的结果来看，AVS2略优。
5、国际化：AVS2被UHD Forum采纳
2018.年3月，UHD Forum经过长时间的调研和分析论证，最终一致认为AVS2性能优异、产业链成熟、专利授权政策优惠，最终决定把AVS2列为和H.265并列的超高清编码标准，推荐给全球的TV和视频业务运营商使用。
AVS2实现
1、AVS2解码芯片
1）AVS2 4K量产芯片厂商：华为海思，Hi3796MV200，AVS2 全4K解码芯片
MStar， MSO9385，AVS2 全4K解码芯片
2）年内将推出AVS2芯片的厂商：中兴微、Amlogic、全志、瑞芯微
2、AVS2广播级全4K编码器
AVS2 4K/50P/10bit 实时编码器厂商：目前至少有柯维新（东华广信），数码视讯，算通，当虹科技，上海国贸等, 现在有一些质量比较好的编码器主观质量损失低于8%的，广播级要求是平均低于12%，低于8%是一个不错的质量。
3、AVS2开源编码器——xAVS2
2018 年 1 月 31 日，北京大学数字视频编解码技术国家工程实验室开源了 AVS2 高清实时编码器 xAVS2。
这两张图是xAVS2和X265性能的对比，这里面横坐标代表的是编码效率的损失，纵坐标是编码速度，横坐标就是横轴值越小越好，纵轴是值越大越好，针对UHD来说二者是相当的，针对HD来说，xAVS2在相同的编码效率条件下比x265速度快，或者反过来说相同速度条件下比它的编码效率高。
4、AVS2全平台商用编解码内核-uAVS2
2017 年 10 月，北京大学深圳研究生院数字媒体研究中心推出多平台AVS2编解码内核-uAVS2，它的特点如下：
编码速度是x265的3~10倍
解码速度是openHEVC的3倍
支持Linux/Windows/Android/iOS多平台
支持4K/50P/10bit 实时编码
1）uAVS2编码器
下面的两张图给的就是uAVS2和x265的一个对比情况，这里面的红的实线和蓝的实线是uAVS2，虚线是x265，上面是单线程的，下面是多线程的，同样这个横轴是编码效率的损失，纵轴是编码速度，横轴的值越小越好，纵轴的值越大越好。编码效率损失是说这个编码器跟参考软件相比来说，编码效率的损失，因为参考软件是代表了最优的客观性能。但是由于参考软件的最大的问题是速度特别慢，没有办法做实时应用，做实时编码器的时候必然会牺牲一些编码效率来提升编码速度。在这两张图，很明显可以看出来，当编码速度类似时，uAVS2大概比X265的编码效率高10%到30%，如果编码效率类似， uAVS2比x265会快3到10倍。
2）uAVS2移动编解码器
在移动平台解码速度比openHEVC快2倍，华为P20手机可以实现4K/30P视频实时解码，720P实时编码。对于1080P/3Mbps实时解码, CPU使用率不足10%。
上面表格就是我们做的解码器跟OpenHEVC解码器的速度的对比，值得一提的是在手机上面做软件的解码跟硬解码的功耗水平实际上都开始接近了，下面这两张表是我们最近测的一个结果，我们在手机端去测试视频播放的时候，比较软解和硬解功耗的差异，第一张表是给的是一组720P的视频，各种典型的场景都有的，对比了这个四种不同的手机的机器，分别是三星的S3，iPhone6，iPhone6S，iPhone8，三星S3和 iPhone 6比较老的手机了，iPhone8是目前比较新的，我们可以看出在线播放720P视频的时候功耗的水平以及H.264的硬解和软解，在三星S3上是差异是比较大的，但是在iPhone6，iPhone6S，iPhone8差异并没有那么大，只有百分之十几。那我们看下面第二张表，就是AVS2的软解和H.264硬解之间的功耗的差别，这个我们对比了三组不同的分辨率的视频，分别是480P，720P和1080P，我们看在480P，AVS2的软解和H.264的硬解基本上没有太大差异，只有1%的功耗差，在720P上面二者差异也很小，只有8%的功耗差，当峰值到了1080P，二者也只差了11%，当然这个是在iPhone8上测的，现在大家都知道手机上面能够支持的视频的服务最高的分辨率也就是1080P，这张表已经说明，在手机上面，软解就够用了。就是对大多数的应用场景来说，即使AVS2在手机上没有芯片硬解的支持，软解也是完全可以上线了。
3）全4K视频编码器：uAVS2-4K
基于uAVS2的全4K视频编码器有两个配置，一个配置用来做离线转码，它的编码速度达不到实时，但是编码性能调的比较优，我们把这个最优的配置和HEVC的参考软件做了一个对比，针对全4K的视频系列平均比这个HEVC的参考软件编码效率高7.4%，速度大概是HEVC编码器的参考软件的几百倍。
另外一个配置就是快速配置，这个快速配置就是可以来做全4K视频实时编码的配置，与X265类似的配置去对比，比它的编码效率高30%，同时编码速度还比它快40%，这个目前是可用的。目前uAVS2-4K已经被集成到多款商用AVS2 4K编码器中。
4）监控视频编解码内核：uAVS2-S
监控视频编解码内核uAVS2-S比HEVC/H.265编码效率高30%以上，能大幅节约监控视频传输带宽和存储成本。
5）图像编解码内核: uAVS2-I
与腾讯合作，基于uAVS2-I推出新一代图像压缩格式TPG，比JPG高 47%， 比PNG高60%，比GIF高85%，比WebP高25%。
6）AVS2云转码服务
AVS2云转码服务支持H.264、H.265和AVS2标准互转，支持JPEG、PNG、GIF等格式和TPG互转，支持AI去噪、超分辨率、超帧率等画质增强功能，并且是和华为云合作推广，计算资源弹性可调、可在私有云和公有云等平台部署。
AVS2应用
1、4K电视广播
2017年11月，国家广电总局发文规范4K超高清电视发展，明确要求统一采用AVS2 标准；2018年初，广东省正式上线AVS2 4K直播频道和IPTV点播专区，要求在10月以后新上线4K节目支持AVS2标准；2018年5月，央视联通端到端AVS2 4K系统，计划10月1日开通AVS2 4K频道。
2、IPTV/OTT
2018年3月30日，由中关村视听产业技术创新联盟会同中国智慧家庭产业联盟、中国视频体验联盟、广东4K生态产业联盟及众多相关企业等编写的《IPTV 业务系统AVS2实施指南（2018年）》正式发布。
3、互联网视频
支持互联网和移动平台视频/游戏直播、点播、实时通信等应用，与华为云合作推广，近期上线。
4、AI画质增强
基于AI技术实现老电影/电视剧/动画修复，压缩噪声去除，超分辨率/超帧率/色域提升/SD转HDR。
5、互联网图像
在互联网图像方面，我们与腾讯合作一起推行一个叫TPG的标准，目前这个TPG 标准，已经在腾讯的九大产品线部署了，包括手机QQ，QQ空间，手机管家，QQ浏览器，腾讯视频的客户端，新闻，腾讯体育动漫等等，另外也在腾讯云上面部署了TPG，而且腾讯浏览器的内核，X5内核也完成了TPG的支持，现在还有游戏的引擎的厂商接入了TPG的格式，这个TPG它的优势在于：一呢，省流量、省存储，二是让页面或者图片的加载速度大幅度提升，大概提升到30%以上。
6、监控视频
在参与雪亮工程和平安城市建设的过程中，发现监控视频有对转码的需求，就是前端摄像头产生的视频流码率依然很高（H.264 4Mbps/H.265 2Mbps），要做一次二次的压缩，然后在一些这个带宽受限的网络上进行传输，再传到后台，这个是前端转码；还有一个应用是后端转码，就是监控摄像头下面的数据在后台通过服务器来转码，这样是为了节省存储空间。AVS2由于采用了背景帧技术可以大幅度提升二次压缩效率。
总结
1，AVS2标准性能优异、授权政策优惠可控
2，AVS2产业链已经成熟，开始在4K、监控、移动互联网视频/图像等领域应用
3, 期待与产业界密切合作共建中国自主视频技术生态
Q&A
Q1: TPG网页加载的优化什么原理？
A: 这个原理很简单，就是因为TPG同样的图片的质量，它压缩以后的图片尺寸比原来减少了50%，网页加载的速度自然就会变快了。
Q2: AVS的学习资料去哪里找？
A: 大家可以上AVS工作组的网站，有一个AVS2的专栏(http://www.avs.org.cn/avs2/index.asp)上面有一些AVS2的大概的介绍。另外就是关注我们的公众号【智媒之音】，上面有关于AVS2标准的每一项编码工具的一些比较详细的介绍。
Q3: 解释一下AVS标准国际化，以及和MPEG合作推广？
A: 现在也有一些公司希望在国际，国外来推广AVS2的标准，那比如其实我刚才PPT也在讲， UHD Forum实际上它就是一个国际的组织，跟超高清这个产业有关的国际上最主流的公司都在里面。现在它实际上把AVS2作为一个推荐性的国际标准已经纳入进去了，是跟HEVC并列的一个标准。至于说AVS标准和MPEG合作的问题呢，其实这个比较难操作，就是因为两边的商业模式是不一样的，MPEG那边成员更多，难协调，它要改它的商业模式，这是基本上不可能实现的任务。在技术上MPEG和AVS有很方便的沟通渠道，很多AVS标准的参与者同时参与MPEG标准制定，MPEG视频组的组长虞露老师就是AVS工作组视频组的前任组长。
Q4: TPG和HEIF的对比？
A：HEIF的编码内核是HEVC的帧内编码，所以理论上来说它的性能和TPG在图像编码上是类似的。但是因为具体不同公司编解码器优化的水平不一样，所以这个就在产品级很难比。这方面实际上在腾讯内部做过一些对比，他们对比原来他们尝试用HEVC实现的内核，至少和那个内核对比，TPG无论是编码质量和速度都是有优势的。
