超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读(上)

简介: 超越感官,沉浸赛场——大型体育赛事云上实战精选-


 

在2022年6月的NBA总决赛中,百视TV作为全网唯一采用“主播陪你看NBA”模式的直播平台,以“陪看型”赛事解说来面对内容差异化竞争。与此同时,百视TV还运用了“窄带高清2.0”直播转码技术,为观众在赛事画面质量上打造更进一步的体验提升。

 

简单来说,“窄带高清”是一套以“主观体验最好”为优化目标的视频编码技术,让我们看一张对比图,感受一下画质提升效果:

 

image.png

上图为主播推流原画,下图为修复后画面

 

上图上半部分是主播推流的原画,下半部分是使用窄带高清2.0技术转码后的画面。可以看到,经过窄带高清2.0技术转码,球衣上的数字、地板上的英文字母、篮网、边界线等变得更加清晰。此外,画面整体清晰度都有明显的提升,甚至地板纹理和场外观众轮廓都会肉眼可见变得更加清晰。

 

下文将深度解读为NBA直播赛事带来超清画质背后的“窄带高清”技术原理。

 

1. 窄带高清技术

 

阿里云早在2015年就已经提出了“窄带高清”的概念,在2016年正式推出窄带高清技术品牌并进行产品化。窄带高清代表的是一种成本与体验相调和的视频服务理念,是以人眼主观感受最优为基准的视频编码技术

 

image.png

“窄带高清”示意图

 

窄带高清本质上是一个质量提升和压缩的问题,主要目标是追求质量、码率和成本的最优均衡。在这个方向有两个版本,即窄带高清1.0和窄带高清2.0(以下简称“窄高”)。

 

窄高1.0是均衡版,主要作用是如何用最少的成本去实现自适应的内容处理和编码,达到节省码率的同时实现画质的提升。所以,在窄高1.0充分利用编码器里的信息帮助视频处理,即用成本很小的前处理方法实现低成本的自适应内容处理和编码。同时,在编码器里,主要是基于主观的码控。

 

窄高2.0和窄高1.0相比会有更多的、更充分的和复杂度更高的技术来保证自适应能力,包括JND自适应内容编码、ROI编码、SDR+、更自然的细节增强等。同时,在窄高2.0里增加了更适用于高热内容的修复能力,在质量提升的同时,码率节省也更多

 

2. 赛事直播的挑战

 

当前,窄带高清技术在长视频、短视频、泛娱乐、在线教育、电商直播等场景有着广泛应用。

 

相较于长视频和电商直播等场景,NBA篮球赛事直播由于画面切换快、运动性很强,往往需要高码率流。然而,高码率的直播尤其是NBA比赛直播在跨国传输中可能会受网络质量波动,造成音视频卡顿及延迟。

 

为了保证直播的稳定性和基于播放端的丝滑观赛体验,百视TV选择了较小码率的源流。于是,面临真实场景下的多个挑战:

 

挑战1:低码流导致赛场画面模糊失真

 

相比于高码率流的画面画质,低码率流会有较明显的压缩失真、细节模糊和弱纹理丢失。对于篮球赛事场景来说,就会造成如球星球衣上的文字模糊、篮网模糊、边界线及地面上文字边缘毛刺多等诸多画质现象,导致观看体验不佳。

 

挑战2:剧烈运动画面的“去交错处理”残留

 

除了低码率流带来的压缩失真细节模糊外,体育比赛场景还有一个特有的问题,即原始信号一般是隔行扫描采集的,在互联网传输时首先需要做“去交错处理”,但是对于剧烈运动画面,很难保证有完美的去交错处理,通常会有一些“交错”没有去除干净,形成一些残留噪声。

 

挑战3:数次转码后的画面损失

 

此外,基于企业客户当前业务逻辑,直播视频从拍摄到终端用户,经历了数次转码,每一次转码,都会带来一定的压缩失真和画质损失。

 

为了更好地平衡直播流畅性、稳定性和高清画质体验,百视TV在此次NBA决赛转播过程中先选择相对较低的码率实现稳定的跨国传输,将源流拉到国内后再做修复,在此过程中,百视TV便使用了阿里云视频云的“窄带高清2.0”技术。

 

3. 针对体育赛事的解决方案

 

针对体育赛事视频,如果简单地使用阿里云线上常规窄带高清转码,存在两大弊端:

 

难以修复体育赛事视频中的特有噪声,同时还有可能把一些噪声放大,从而影响观看体验。

 

常规窄带高清无法对篮球场景的特有元素比如球衣上数字、篮网、边界线等实现完美修复。

 

为此,窄带高清2.0针对体育赛事场景,对已有的原子算法能力进行了优化组合,同时部分算法针对篮球赛场景进行了定向调优

 

最终采用的转码流程如下图所示:

 

image.png

直播转码算法流程

 


相关文章
|
机器学习/深度学习 编解码 人工智能
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读(中)
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读
266 0
|
编解码 算法
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读(下)
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读
227 0
|
机器学习/深度学习 编解码 人工智能
|
7月前
|
人工智能 边缘计算 监控
【开源视频联动物联网平台】视频AI智能分析部署方式
【开源视频联动物联网平台】视频AI智能分析部署方式
378 3
|
机器学习/深度学习 人工智能 小程序
智能媒体处理使用与原理(一)|学习笔记
快速学习智能媒体处理使用与原理(一)
187 0
智能媒体处理使用与原理(一)|学习笔记
|
机器学习/深度学习 人工智能 编解码
智能媒体处理使用与原理(二)|学习笔记
快速学习智能媒体处理使用与原理(二)
140 0
|
人工智能
智能媒体处理使用技巧
智能AI与视频制作
185 0
|
机器学习/深度学习 人工智能 语音技术
视频AI,助力体育赛事转播走进智能时代
2018俄罗斯世界杯经过近20天的激战,已经进入到最关键的阶段。本次赛事除了精彩纷呈的比赛之外,还加入很多高科技的元素,例如门线、VAR技术等等。让本届世界杯成为科技含量最高的一届世界杯。
2883 0
|
编解码 人工智能 算法
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力-如临现场的视觉感染力,NBA决赛还能这样看?
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力
210 0

热门文章

最新文章