在2022年6月的NBA总决赛中,百视TV作为全网唯一采用“主播陪你看NBA”模式的直播平台,以“陪看型”赛事解说来面对内容差异化竞争。与此同时,百视TV还运用了“窄带高清2.0”直播转码技术,为观众在赛事画面质量上打造更进一步的体验提升。
简单来说,“窄带高清”是一套以“主观体验最好”为优化目标的视频编码技术,让我们看一张对比图,感受一下画质提升效果:
上图为主播推流原画,下图为修复后画面
上图上半部分是主播推流的原画,下半部分是使用窄带高清2.0技术转码后的画面。可以看到,经过窄带高清2.0技术转码,球衣上的数字、地板上的英文字母、篮网、边界线等变得更加清晰。此外,画面整体清晰度都有明显的提升,甚至地板纹理和场外观众轮廓都会肉眼可见变得更加清晰。
下文将深度解读为NBA直播赛事带来超清画质背后的“窄带高清”技术原理。
1. 窄带高清技术
阿里云早在2015年就已经提出了“窄带高清”的概念,在2016年正式推出窄带高清技术品牌并进行产品化。窄带高清代表的是一种成本与体验相调和的视频服务理念,是以人眼主观感受最优为基准的视频编码技术。
“窄带高清”示意图
窄带高清本质上是一个质量提升和压缩的问题,主要目标是追求质量、码率和成本的最优均衡。在这个方向有两个版本,即窄带高清1.0和窄带高清2.0(以下简称“窄高”)。
窄高1.0是均衡版,主要作用是如何用最少的成本去实现自适应的内容处理和编码,达到节省码率的同时实现画质的提升。所以,在窄高1.0充分利用编码器里的信息帮助视频处理,即用成本很小的前处理方法实现低成本的自适应内容处理和编码。同时,在编码器里,主要是基于主观的码控。
窄高2.0和窄高1.0相比会有更多的、更充分的和复杂度更高的技术来保证自适应能力,包括JND自适应内容编码、ROI编码、SDR+、更自然的细节增强等。同时,在窄高2.0里增加了更适用于高热内容的修复能力,在质量提升的同时,码率节省也更多。
2. 赛事直播的挑战
当前,窄带高清技术在长视频、短视频、泛娱乐、在线教育、电商直播等场景有着广泛应用。
相较于长视频和电商直播等场景,NBA篮球赛事直播由于画面切换快、运动性很强,往往需要高码率流。然而,高码率的直播尤其是NBA比赛直播在跨国传输中可能会受网络质量波动,造成音视频卡顿及延迟。
为了保证直播的稳定性和基于播放端的丝滑观赛体验,百视TV选择了较小码率的源流。于是,面临真实场景下的多个挑战:
挑战1:低码流导致赛场画面模糊失真
相比于高码率流的画面画质,低码率流会有较明显的压缩失真、细节模糊和弱纹理丢失。对于篮球赛事场景来说,就会造成如球星球衣上的文字模糊、篮网模糊、边界线及地面上文字边缘毛刺多等诸多画质现象,导致观看体验不佳。
挑战2:剧烈运动画面的“去交错处理”残留
除了低码率流带来的压缩失真细节模糊外,体育比赛场景还有一个特有的问题,即原始信号一般是隔行扫描采集的,在互联网传输时首先需要做“去交错处理”,但是对于剧烈运动画面,很难保证有完美的去交错处理,通常会有一些“交错”没有去除干净,形成一些残留噪声。
挑战3:数次转码后的画面损失
此外,基于企业客户当前业务逻辑,直播视频从拍摄到终端用户,经历了数次转码,每一次转码,都会带来一定的压缩失真和画质损失。
为了更好地平衡直播流畅性、稳定性和高清画质体验,百视TV在此次NBA决赛转播过程中先选择相对较低的码率实现稳定的跨国传输,将源流拉到国内后再做修复,在此过程中,百视TV便使用了阿里云视频云的“窄带高清2.0”技术。
3. 针对体育赛事的解决方案
针对体育赛事视频,如果简单地使用阿里云线上常规窄带高清转码,存在两大弊端:
• 难以修复体育赛事视频中的特有噪声,同时还有可能把一些噪声放大,从而影响观看体验。
• 常规窄带高清无法对篮球场景的特有元素比如球衣上数字、篮网、边界线等实现完美修复。
为此,窄带高清2.0针对体育赛事场景,对已有的原子算法能力进行了优化组合,同时部分算法针对篮球赛场景进行了定向调优。
最终采用的转码流程如下图所示:
直播转码算法流程