超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读(上)

简介: 超越感官,沉浸赛场——大型体育赛事云上实战精选-


 

在2022年6月的NBA总决赛中,百视TV作为全网唯一采用“主播陪你看NBA”模式的直播平台,以“陪看型”赛事解说来面对内容差异化竞争。与此同时,百视TV还运用了“窄带高清2.0”直播转码技术,为观众在赛事画面质量上打造更进一步的体验提升。

 

简单来说,“窄带高清”是一套以“主观体验最好”为优化目标的视频编码技术,让我们看一张对比图,感受一下画质提升效果:

 

image.png

上图为主播推流原画,下图为修复后画面

 

上图上半部分是主播推流的原画,下半部分是使用窄带高清2.0技术转码后的画面。可以看到,经过窄带高清2.0技术转码,球衣上的数字、地板上的英文字母、篮网、边界线等变得更加清晰。此外,画面整体清晰度都有明显的提升,甚至地板纹理和场外观众轮廓都会肉眼可见变得更加清晰。

 

下文将深度解读为NBA直播赛事带来超清画质背后的“窄带高清”技术原理。

 

1. 窄带高清技术

 

阿里云早在2015年就已经提出了“窄带高清”的概念,在2016年正式推出窄带高清技术品牌并进行产品化。窄带高清代表的是一种成本与体验相调和的视频服务理念,是以人眼主观感受最优为基准的视频编码技术

 

image.png

“窄带高清”示意图

 

窄带高清本质上是一个质量提升和压缩的问题,主要目标是追求质量、码率和成本的最优均衡。在这个方向有两个版本,即窄带高清1.0和窄带高清2.0(以下简称“窄高”)。

 

窄高1.0是均衡版,主要作用是如何用最少的成本去实现自适应的内容处理和编码,达到节省码率的同时实现画质的提升。所以,在窄高1.0充分利用编码器里的信息帮助视频处理,即用成本很小的前处理方法实现低成本的自适应内容处理和编码。同时,在编码器里,主要是基于主观的码控。

 

窄高2.0和窄高1.0相比会有更多的、更充分的和复杂度更高的技术来保证自适应能力,包括JND自适应内容编码、ROI编码、SDR+、更自然的细节增强等。同时,在窄高2.0里增加了更适用于高热内容的修复能力,在质量提升的同时,码率节省也更多

 

2. 赛事直播的挑战

 

当前,窄带高清技术在长视频、短视频、泛娱乐、在线教育、电商直播等场景有着广泛应用。

 

相较于长视频和电商直播等场景,NBA篮球赛事直播由于画面切换快、运动性很强,往往需要高码率流。然而,高码率的直播尤其是NBA比赛直播在跨国传输中可能会受网络质量波动,造成音视频卡顿及延迟。

 

为了保证直播的稳定性和基于播放端的丝滑观赛体验,百视TV选择了较小码率的源流。于是,面临真实场景下的多个挑战:

 

挑战1:低码流导致赛场画面模糊失真

 

相比于高码率流的画面画质,低码率流会有较明显的压缩失真、细节模糊和弱纹理丢失。对于篮球赛事场景来说,就会造成如球星球衣上的文字模糊、篮网模糊、边界线及地面上文字边缘毛刺多等诸多画质现象,导致观看体验不佳。

 

挑战2:剧烈运动画面的“去交错处理”残留

 

除了低码率流带来的压缩失真细节模糊外,体育比赛场景还有一个特有的问题,即原始信号一般是隔行扫描采集的,在互联网传输时首先需要做“去交错处理”,但是对于剧烈运动画面,很难保证有完美的去交错处理,通常会有一些“交错”没有去除干净,形成一些残留噪声。

 

挑战3:数次转码后的画面损失

 

此外,基于企业客户当前业务逻辑,直播视频从拍摄到终端用户,经历了数次转码,每一次转码,都会带来一定的压缩失真和画质损失。

 

为了更好地平衡直播流畅性、稳定性和高清画质体验,百视TV在此次NBA决赛转播过程中先选择相对较低的码率实现稳定的跨国传输,将源流拉到国内后再做修复,在此过程中,百视TV便使用了阿里云视频云的“窄带高清2.0”技术。

 

3. 针对体育赛事的解决方案

 

针对体育赛事视频,如果简单地使用阿里云线上常规窄带高清转码,存在两大弊端:

 

难以修复体育赛事视频中的特有噪声,同时还有可能把一些噪声放大,从而影响观看体验。

 

常规窄带高清无法对篮球场景的特有元素比如球衣上数字、篮网、边界线等实现完美修复。

 

为此,窄带高清2.0针对体育赛事场景,对已有的原子算法能力进行了优化组合,同时部分算法针对篮球赛场景进行了定向调优

 

最终采用的转码流程如下图所示:

 

image.png

直播转码算法流程

 


相关文章
|
机器学习/深度学习 编解码 人工智能
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读(中)
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读
341 0
|
编解码 算法
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读(下)
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力 NBA赛事超清画质的背后:「窄带高清2.0」技术深度解读
308 0
|
机器学习/深度学习 编解码 人工智能
|
人工智能 边缘计算 监控
【开源视频联动物联网平台】视频AI智能分析部署方式
【开源视频联动物联网平台】视频AI智能分析部署方式
535 3
|
人工智能 文字识别 监控
将人工智能融入多媒体 助力视频产业加速——阿里云视频AI全能力解读
结合人工智能视频理解流程和用户的需求场景,我们将视频AI的功能分成四个大部分,视频智能审核、视频内容理解、视频智能编辑、视频版权保护。其中视频审核功能包括视频鉴黄、暴恐涉政识别、广告二维码识别、无意义直播识别等,利用识别能力将网络上没营养和不健康的视频内容进行排查和处理;视频理解功能包括视频分类、标签,人物识别、语音识别,同时也包括对视频中的文字进行识别(OCR);视频编辑层面可以实现视频首图、视频摘要、视频highlight的生成,同时支持新闻拆条;关于视频版权,支持视频相似性、同源视频检索和音视频指纹等功能。
17563 0
将人工智能融入多媒体 助力视频产业加速——阿里云视频AI全能力解读
|
人工智能 编解码 搜索推荐
视频云肖长杰:视频AI科技助力短视频生态
人工智能技术是当今炙手可热的技术领域,它在制造、家居、零售、交通、安防等行业的应用已经是大势所趋。在本月云栖Techday音视频技术沙龙中,阿里云视频云产品专家肖长杰为我们分享了一些AI技术在视频中应用的小趋势,带大家回顾了AI是如何渗透到了短视频生产中的各个环节中的。
2967 0
|
人工智能 云栖大会 语音技术
视频AI对话杭州云栖:新一代视频智能生产的探索与实践
在今年的杭州云栖大会AB区中庭,有一个全透明建筑备受瞩目,这就是云栖数据指挥中心。在这块大屏中的媒体中央厨房部分,正是采用了视频智能生产方案,将多模态内容理解与云导播和云剪辑相结合,使原来小时级别的视频生产降至秒级。
4219 0
视频AI对话杭州云栖:新一代视频智能生产的探索与实践
|
机器学习/深度学习 人工智能 文字识别
阿里云视频技术专家柿蒂:视频AI in传媒九大业务场景解析
人工智能视觉计算和视频融合在一起能摩擦出怎样的火花呢?柿蒂提到,如同下图所示,人工智能视觉计算可以支持直播、短视频、新闻、体育、影视等多种业务场景,可以实现目标检测识别识、片段侦测、事件识别、鉴黄涉恐、OCR等多种应用层面的功能。
7168 0
|
PHP 调度 数据安全/隐私保护
【源码解读】TP5读取本地图片输出后,设置header头无效,图片乱码
在Thinkphp程序中读取本地图片,做出加工处理(如合并二维码等水印),然后输出给客户端,一直输出图片内容乱码。 设置了header image/png 不生效。 写下这篇TP源码排查文章,看看问题到底出现在哪个步骤。
697 0
【源码解读】TP5读取本地图片输出后,设置header头无效,图片乱码
|
8月前
|
人工智能 数据管理 API
阿里云百炼又获大奖!阿里云百炼入选 2024 最受开发者欢迎的 AI 应用开发平台榜15强
2024年最受开发者欢迎的AI应用开发平台榜单发布,阿里云百炼入选15强。持续推动AI开发者生态建设,提供开放平台、培训支持、行业解决方案,注重数据安全与合规,致力于生态合作与共赢,加速企业数智化转型。
918 17
AI助理
登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问

你好,我是AI助理

可以解答问题、推荐解决方案等