窄带高清代表的是一种成本与体验相调和的视频服务理念。体验方面,观众在观看视频时会受到片源清晰度、分辨率、码率、帧率、编码算法、播放策略等影响,所谓的窄带高清也是希望从这些角度提高观众观看体验;影响成本的因素包括码率、分发策略和播放策略,窄带高清也是从这三个层面降低成本。
目前的视频体验
目前,中国视频用户体验是有待改善,如上图案例所示,视频中经常出现转码失真、拍摄噪声、卡顿、低帧率卡顿、低分辨率模糊、镜头抖动等现象,直接影响用户的视频观看体验。
在视频服务中,带宽的成本是必须要考虑的因素。上图是某视频APP业务情况和月运营成本的柱状图,该APP的存储大小约为200TB,带宽为60Gb,每天视频上传总时间为10000分钟;经过计算发现,转码成本、存储成本相比于带宽成本相差甚远,上传单价为0.03/min、存储单价为150/TB,而带宽单价为18/Mb。单从技术角度出发控制带宽成本的技术手段包括:打击盗链、CDN分发控制、播放策略控制、降码率。下面来看一下是如何通过降低码率来控制成本的。
国内服务商如何控制带宽成本?
上图是国内普遍设置和YouTube(US)在相应分辨率的码率设置对比图。两者相比,明显可以看出在分辨率相同时,国内的码率设置甚至不到YouTube的二分之一,这势必会带来视频模糊、毛刺等现场,导致用户体验较差。
那么,是不是高分辨率必须对应着高码率呢?下面来看两个码率和分辨率匹配关系的案例。
案例一
上图是1280X720分辨率的视频,码率设置为1.1Mbps后的具体效果,可以看到画面效果不是很好,很多地方出现模糊,并且人脸边缘区域出现了毛刺。假如用户能承担的最高码率就是1.1Mbps,那么可以得到更加清晰的播放效果吗?
答案是肯定的。如上图所示,使用1.1Mbps的码率也可以达到很好的效果,只要适当地降低分辨率即可。因此,在视频转码的过程中,分辨率和码率对应关系十分重要,而不是说一味地提升分辨率而忽略了码率跟不上的现实。
第二个案例
第二个案例是关于分辨率设置的问题。当码率固定为200Kbps时,上图是分辨率设置为576X360的效果,可以看到视频很不清晰。事实上,我们可以相应地提高分辨率,以提高视频的清晰度,下图是在码率200Kbps时,分辨率提高到1280x800的效果图,对比上图,清晰了很多。
通过上述两个案例,我们可以总结出以下两点:(1)对同一个视频来说,码率、分辨率的设置要相匹配;(2)对于不同的视频,码率、分辨率的对应关系是不一样的。因此,即使带宽受限,即使不使用新一代编码器,通过更合理的参数搭配,我们也能把中国观众的观影体验提升一个档次!
窄带高清做了什么?
阿里云提供的转码服务上,窄带高清做了什么?下面来一一分析。
窄带高清之编码前先分析
上图是一个完整的视频播放流程,包括采集、上传、片源修复、转码参数分析、编码切片、加密、存储、分发、播放九大步骤。窄带高清做的第一件事情是编码前先对内容分析,根据内容判断视频是卡通类还是好莱坞大片,如果是卡通类内容,尽管分辨率是1920x1080,码率设置依旧会比较低(400Kbps);如果是好莱坞大片,尽管分辨率只有1536x864,但码率需要设置比较高(3600Kbps)。
这种根据视频内容不同而设置不同的分辨率的方式称之为分场景转码,分场景的转码方式能够在一定程度上解决码率和分辨率匹配的难题。
上图是常用的直播/点播App的使用案例,一般而言,游戏和影视剧对码率的要求比较高,而在线课堂对码率的要求比较低。这种分场景的转码在一定程度上能够有效地节省用户带宽资源,但也带来了其他问题:首先,如果在线课堂中出现抖动(例如PPT中插入视频),在较低的码率下容易产生马赛克;其次,在动作游戏中是存在一定量的等待画面(例如加载游戏),设置较高的码率则比较浪费。
因此,阿里云窄带高清要解决是分场景转码带来其他问题,根据每个视频中的场景、动作、内容、纹理等设置相应的分辨率和码率。
上图右侧是观看效果较好情况下分辨率和码率对应的模型,因此可以根据清晰度预期尝试降低码率。例如在720p的直播中,将目标码率设置为2Mbps,经过窄带高清之后,阿里云转码会把视频内容在直播过程中实时进行分析,通过前置窗口中实时探测视频内容,再设置最合适的码率,同时确保所设置的码率不超出最初的预设值。窄带做到高清的另一个秘诀是根据预设码率选择最佳分辨率,当画面内容特别复杂时,在2Mbps的码率下降低分辨率(720p->480p);当画面内容较为简单时,可以相应地提高分辨率(720p->1080p)。
总结来看,窄带节省的是不必要的Bits;高清是把Bits分配到最能产生价值的地方。
如上图所示,通过使用阿里云窄带高清,可以用1.2Mbps的平均码率达到1.5Mbps相当的效果。
窄带高清之阿里独家编码器
阿里云独家编码器不只解决了信号压缩的问题,更要解决人眼主观感受的问题,阿里云编码器做了以下优化:
(1)基于主观质量优化的码率控制和自适应量化,保障码字用在最合适的地方。
(2)帧间一致性保障;
(3)Coding Artifact抑制;
(4)易关注纹理增强。
下面来看具体的案例。
帧间一致性保障
观众在看视频时,并不是要求视频十分精致,甚至有很多观众是无法区分720p和1080p的区别,但几乎所有的观众都对帧间不稳定都十分敏感。阿里云独家编码器在编码时就注意到了这一点,因此对视频帧与帧之间的抖动加以控制。如上图所示,通过窄带高清编码器,在保障分辨率的同时,降低了码率,同时保障了帧间一致性,使得观看效果更佳。
Coding Artifact抑制
多年来,编码器是从信号处理的角度进行发展演进的,而非按照人类观看体验进行编码,因此Artifact不可避免的出现。上图左侧是码率较低的视频,可以看到毛发断裂、每个点都有噪声颗粒的情况;右侧是窄带高清编码器进行Coding Artifact抑制之后的效果,两者对比明显。
易关注纹理增强
实际上,很多编码器和播放器都会做前/后处理,将图片进行锐化或者是对比度/颜色的增强,但并非所有的视频都可以进行锐化、对比度增强等操作。易关注纹理增强是指增强人对图片上敏感、喜爱的元素。如上图所示,左侧图片相对于右侧在时间、Logo、文字、长线条都进行了增强,用户观看效果也更好。
窄带高清之片源画质重生
阿里云窄带高清片源画质重生服务主要提供了四大功能,分别是:影片标清转高清,常用于传统广电视频处理;2K转4K;30帧转60帧;受损片源修复。
传统广电视频采用的编码格式是Deinterlace,阿里云转码器会自动监测是否是该类型的片源,然后进行相应的图像处理,如上图右部分比左部分少了很多毛刺。
分辨率和帧率的提高都会改善用户的观看体验,因此阿里云片源画质重生服务提供了2K转4K,30帧转60帧的功能:
(1)高帧率重制,利用 Frame Rate Conversion (FRC)技术将主流拍摄设备生成的30帧/秒视频转换为60帧/秒,消除在播放 中的顿挫感。
(2)高清重制,阿里云通过噪声抑制、超分辨率、HDR等技术,将标清画质的经典影片重制为高 清版本,让怀旧老片焕发新的生命力。
在直播场景中,当动作抖动很大时,由于码率的上限限定,画面常常出现上图所示情况,多出马赛克出现。如果拿到这种片源,我们是没有办法处理了吗?
答案是否定的,上图是受损片源修复之后的效果图。相比于受损前,质量得到了大大的提升。
窄带高清助力视频客户
阿里云窄带高清致力于帮助视频客户提高观看体验,同时控制成本。目前,天猫、支付宝、天猫魔盒、熊猫TV等企业都已在视频直播/点播中使用窄带高清,一定程度上降低了带宽成本,并且在某些场景下观看效果得到了提升。