用更少的钱看更清晰的视频——详谈阿里云窄带高清

简介: 在云栖社区在线技术培训上,阿里云高级视频专家江文斐为大家详细讲述了阿里窄带高产品的工作原理和使用用场景。通过使用窄带高清,能够让客户在成本和视觉体验上达到最佳平衡。

窄带高清代表的是一种成本与体验相调和的视频服务理念。体验方面,观众在观看视频时会受到片源清晰度、分辨率、码率、帧率、编码算法、播放策略等影响,所谓的窄带高清也是希望从这些角度提高观众观看体验;影响成本的因素包括码率、分发策略和播放策略,窄带高清也是从这三个层面降低成本。

目前的视频体验

 

0e9e659336158d8a14640648ab503bf9e091d276 

目前,中国视频用户体验是有待改善,如上图案例所示,视频中经常出现转码失真、拍摄噪声、卡顿、低帧率卡顿、低分辨率模糊、镜头抖动等现象,直接影响用户的视频观看体验。

d59899f9e6a49c503154d3b8acbc8e743e25c3d2 

在视频服务中,带宽的成本是必须要考虑的因素。上图是某视频APP业务情况和月运营成本的柱状图,该APP的存储大小约为200TB,带宽为60Gb,每天视频上传总时间为10000分钟;经过计算发现,转码成本、存储成本相比于带宽成本相差甚远,上传单价为0.03/min、存储单价为150/TB,而带宽单价为18/Mb。单从技术角度出发控制带宽成本的技术手段包括:打击盗链、CDN分发控制、播放策略控制、降码率。下面来看一下是如何通过降低码率来控制成本的。


国内服务商如何控制带宽成本?

b48283ad8e7b79660c7d8e3a9e3531956840decc 

上图是国内普遍设置和YouTube(US)在相应分辨率的码率设置对比图。两者相比,明显可以看出在分辨率相同时,国内的码率设置甚至不到YouTube的二分之一,这势必会带来视频模糊、毛刺等现场,导致用户体验较差。

那么,是不是高分辨率必须对应着高码率呢?下面来看两个码率和分辨率匹配关系的案例。

案例一

a1409eb27c4d71f542160e91630e332ed8ae9376 

上图是1280X720分辨率的视频,码率设置为1.1Mbps后的具体效果,可以看到画面效果不是很好,很多地方出现模糊,并且人脸边缘区域出现了毛刺。假如用户能承担的最高码率就是1.1Mbps,那么可以得到更加清晰的播放效果吗?

84c95694267012418a29491dfa8ce1e2a9c633d6 

答案是肯定的。如上图所示,使用1.1Mbps的码率也可以达到很好的效果,只要适当地降低分辨率即可。因此,在视频转码的过程中,分辨率和码率对应关系十分重要,而不是说一味地提升分辨率而忽略了码率跟不上的现实。

第二个案例

f1f30b5f19fc179f0e767642776365fb10933b52 

第二个案例是关于分辨率设置的问题。当码率固定为200Kbps时,上图是分辨率设置为576X360的效果,可以看到视频很不清晰。事实上,我们可以相应地提高分辨率,以提高视频的清晰度,下图是在码率200Kbps时,分辨率提高到1280x800的效果图,对比上图,清晰了很多。

e83413ddf84ff85b3481c3796b6c58bade2a60ba 

 

通过上述两个案例,我们可以总结出以下两点:(1)对同一个视频来说,码率、分辨率的设置要相匹配;(2)对于不同的视频,码率、分辨率的对应关系是不一样的。因此,即使带宽受限,即使不使用新一代编码器,通过更合理的参数搭配,我们也能把中国观众的观影体验提升一个档次!


窄带高清做了什么?

阿里云提供的转码服务上,窄带高清做了什么?下面来一一分析。

窄带高清之编码前先分析

4ae701f1a167b6e58bfec544e7b0e70e751a036d 

上图是一个完整的视频播放流程,包括采集、上传、片源修复、转码参数分析、编码切片、加密、存储、分发、播放九大步骤。窄带高清做的第一件事情是编码前先对内容分析,根据内容判断视频是卡通类还是好莱坞大片,如果是卡通类内容,尽管分辨率是1920x1080,码率设置依旧会比较低(400Kbps);如果是好莱坞大片,尽管分辨率只有1536x864,但码率需要设置比较高(3600Kbps)。

这种根据视频内容不同而设置不同的分辨率的方式称之为分场景转码,分场景的转码方式能够在一定程度上解决码率和分辨率匹配的难题。

fb05b4a7e6e6188161b0248ddfd3190e42918cc2 

上图是常用的直播/点播App的使用案例,一般而言,游戏和影视剧对码率的要求比较高,而在线课堂对码率的要求比较低。这种分场景的转码在一定程度上能够有效地节省用户带宽资源,但也带来了其他问题:首先,如果在线课堂中出现抖动(例如PPT中插入视频),在较低的码率下容易产生马赛克;其次,在动作游戏中是存在一定量的等待画面(例如加载游戏),设置较高的码率则比较浪费。

因此,阿里云窄带高清要解决是分场景转码带来其他问题,根据每个视频中的场景、动作、内容、纹理等设置相应的分辨率和码率。

b30f21e6758f2166d614b8fff6f4d678956a9d16 

上图右侧是观看效果较好情况下分辨率和码率对应的模型,因此可以根据清晰度预期尝试降低码率。例如在720p的直播中,将目标码率设置为2Mbps,经过窄带高清之后,阿里云转码会把视频内容在直播过程中实时进行分析,通过前置窗口中实时探测视频内容,再设置最合适的码率,同时确保所设置的码率不超出最初的预设值。窄带做到高清的另一个秘诀是根据预设码率选择最佳分辨率,当画面内容特别复杂时,在2Mbps的码率下降低分辨率(720p->480p);当画面内容较为简单时,可以相应地提高分辨率(720p->1080p)。

总结来看,窄带节省的是不必要的Bits;高清是把Bits分配到最能产生价值的地方。

f1ab08c8f1cc9c71d3af87ead02715512eb39ab9 

如上图所示,通过使用阿里云窄带高清,可以用1.2Mbps的平均码率达到1.5Mbps相当的效果。

窄带高清之阿里独家编码器

阿里云独家编码器不只解决了信号压缩的问题,更要解决人眼主观感受的问题,阿里云编码器做了以下优化:

(1)基于主观质量优化的码率控制和自适应量化,保障码字用在最合适的地方。

(2)帧间一致性保障;

(3)Coding Artifact抑制;

(4)易关注纹理增强。

下面来看具体的案例。

帧间一致性保障

3d26430083efc8e5351132fb353cf611de69fe81 

观众在看视频时,并不是要求视频十分精致,甚至有很多观众是无法区分720p和1080p的区别,但几乎所有的观众都对帧间不稳定都十分敏感。阿里云独家编码器在编码时就注意到了这一点,因此对视频帧与帧之间的抖动加以控制。如上图所示,通过窄带高清编码器,在保障分辨率的同时,降低了码率,同时保障了帧间一致性,使得观看效果更佳。

Coding Artifact抑制

21a06e1447b9f91f1b18b03c346acc7cd7206a0a 

多年来,编码器是从信号处理的角度进行发展演进的,而非按照人类观看体验进行编码,因此Artifact不可避免的出现。上图左侧是码率较低的视频,可以看到毛发断裂、每个点都有噪声颗粒的情况;右侧是窄带高清编码器进行Coding Artifact抑制之后的效果,两者对比明显。

易关注纹理增强

17687426ef28c7085340e43c3afbf7b17521f9bc 

实际上,很多编码器和播放器都会做前/后处理,将图片进行锐化或者是对比度/颜色的增强,但并非所有的视频都可以进行锐化、对比度增强等操作。易关注纹理增强是指增强人对图片上敏感、喜爱的元素。如上图所示,左侧图片相对于右侧在时间、Logo、文字、长线条都进行了增强,用户观看效果也更好。

窄带高清之片源画质重生

阿里云窄带高清片源画质重生服务主要提供了四大功能,分别是:影片标清转高清,常用于传统广电视频处理;2K转4K;30帧转60帧;受损片源修复。

789e0742cf75edd7fa194a5e3ace1c491be7e724 

传统广电视频采用的编码格式是Deinterlace,阿里云转码器会自动监测是否是该类型的片源,然后进行相应的图像处理,如上图右部分比左部分少了很多毛刺。

 

d1e8ee7aaee71df038e2c12147f8427dd3bff9c7 

分辨率和帧率的提高都会改善用户的观看体验,因此阿里云片源画质重生服务提供了2K转4K,30帧转60帧的功能:

(1)高帧率重制,利用 Frame Rate Conversion (FRC)技术将主流拍摄设备生成的30帧/秒视频转换为60帧/秒,消除在播放 中的顿挫感。

(2)高清重制,阿里云通过噪声抑制、超分辨率、HDR等技术,将标清画质的经典影片重制为高 清版本,让怀旧老片焕发新的生命力。

 

 

 

c48da38e221dccc97432e8fe81c21c47d5ebc742 

在直播场景中,当动作抖动很大时,由于码率的上限限定,画面常常出现上图所示情况,多出马赛克出现。如果拿到这种片源,我们是没有办法处理了吗?

3d435b43bc63b093e8d50c12daba1b6eb70b87dc 

答案是否定的,上图是受损片源修复之后的效果图。相比于受损前,质量得到了大大的提升。

 

窄带高清助力视频客户

89873e7d0433766ea8ccda2736a4df90d5747c29 

阿里云窄带高清致力于帮助视频客户提高观看体验,同时控制成本。目前,天猫、支付宝、天猫魔盒、熊猫TV等企业都已在视频直播/点播中使用窄带高清,一定程度上降低了带宽成本,并且在某些场景下观看效果得到了提升。


相关文章
|
机器学习/深度学习 数据采集 编解码
优酷老片修复算法,超高清重温童年回忆
优酷老片修复算法,超高清重温童年回忆
520 0
优酷老片修复算法,超高清重温童年回忆
|
存储 前端开发 JavaScript
直播弹幕源码开发很难?一招教你解决
如果你在开发直播弹幕源码的途中碰到很多棘手问题,不要慌,本篇来逐步击破直播弹幕源码的难点。
直播弹幕源码开发很难?一招教你解决
|
机器学习/深度学习 存储 人工智能
大厂的广告系统升级,怎能少了大模型的身影
大厂的广告系统升级,怎能少了大模型的身影
252 0
|
传感器 机器学习/深度学习 编解码
|
机器学习/深度学习 算法
【OpenVI—视觉生产系列之视频插帧实战篇】几行代码,尽享流畅丝滑的视频观感
随着网络电视、手机等新媒体领域的快速发展,用户对于观看视频质量的要求也越来越高。当前市面上所广为传播的视频帧率大多仍然处于20~30fps,已经无法满足用户对于高清、流畅的体验追求。而视频插帧算法,能够有效实现多倍率的帧率提升,有效消除低帧率视频的卡顿感,让视频变得丝滑流畅。配合其它的视频增强算法,更是能够让低质量视频焕然一新,让观众享受到极致的播放和观看体验。
623 0
【OpenVI—视觉生产系列之视频插帧实战篇】几行代码,尽享流畅丝滑的视频观感
|
存储 机器学习/深度学习 NoSQL
双11大型互动游戏“喵果总动员” 质量保障方案总结
推荐语:互动游戏是一个系统化工程,在笔者的“喵果总动员”质量方案中,可以看到为保障用户体验,我们在各个难点的解决方案, 例如:用线上压测能力支持业务及时调整各服务容量、通过强化学习覆盖游戏行业的测试路径覆盖难题、利用系统异常注入发现corner case等, 都为互动游戏的系统性质量保障提供了方法。 ——大淘宝技术质量工程师 搏天
232 0
双11大型互动游戏“喵果总动员” 质量保障方案总结
|
存储 SQL 缓存
如何设计一个支持一亿用户的系统,心中有方案遇事不慌!
如何设计一个支持一亿用户的系统,心中有方案遇事不慌!
212 0
如何设计一个支持一亿用户的系统,心中有方案遇事不慌!
|
机器学习/深度学习 算法 机器人
|
安全 Java 程序员