阿里云黄海宇:窄带高清2.0——让直播更惊艳的魔术

简介: 2018年4月11-12日,2018亚太CDN峰会在北京隆重召开,大会由亚太CDN领袖论坛、电视云论坛、短视频论坛、视频云论坛、新技术论坛、运营商论坛、国际云论坛等7大部分组成。在视频云论坛上,阿里云视频云高级算法专家黄海宇作了题为《窄带高清2.0——让直播更惊艳的魔术》的主题致辞。

2018年4月11-12日,2018亚太CDN峰会在北京隆重召开,大会由亚太CDN领袖论坛、电视云论坛、短视频论坛、视频云论坛、新技术论坛、运营商论坛、国际云论坛等7大部分组成。在视频云论坛上,阿里云视频云高级算法专家黄海宇作了题为《窄带高清2.0——让直播更惊艳的魔术》的主题致辞。下面为演讲内容:

我是来自阿里云视频云的黄海宇,我目前从事的工作主要是阿里云视频直播相关技术。随着直播的发展,CDN的带宽、CDN的成本以及视频的清晰度已经成为一个非常重要的问题,我的演讲题目是“窄带高清2.0——让直播更惊艳的魔术”。

image

其实,阿里云早在2015年就已经提出了窄带高清的概念。这个概念提出来以后,很多友商开始引用这个概念,并且也推出了类似服务。

那么,我们当初提出窄带高清的原因是什么?在近两年来,在此基础上又做了哪些发展呢?今天我将给大家分享一下。

大家观看视频时,都希望画质清晰,但实际上,在看互联网直播是,我们更多看到的是比较模糊的视频。那么,我们是否现在没有办法制作高清视频呢?答案是否定的。

上个月,阿里云在深圳云栖大会现场第一次进行了8k直播,舞台的屏幕上显示了从1300公里以外的阿里巴巴杭州园区传输回来的直播图像视频,现场观众清晰地看到了景泰蓝淘公仔的精致画面。但实际的直播业务场景中,用户在做互联网直播的时候,由于网络传输原因,并不能让每位观众都能看到非常清晰的视频,高清晰度的直播的限制主要在网络的带宽上。
image

构建在阿里云上的一个直播平台调研数据显示,只有16%的用户能够看到超清的视频,54%的用户能够看到高清的视频,30%的用户看不到高清视频。

如果,能把超清码率往高清靠一下的话,是不是更多人就能够看到超清的视频了呢?

实际上,我们也正在向这个方向努力,但这样会带来一个问题,把超清码率往高清靠的时候,对清晰度会有多大影响呢?做视频编解码朋友都会熟悉PSNR的公式,被广泛应用在衡量各种不同编码器的编码质量上,实际上这个公式确实非常客观地描述了一个视频经过视频编码以后信息量的损耗,站在信息论的角度来进行分析的。但实际视频是人眼来看的,人眼对视频的敏感度和视频在编码过程中损失的信息量并不是直接对应的。

窄带高清——人眼主观感受最优为基准的视频编码技术

基于以上讨论,可以引出窄带高清的概念。窄带高清实际上是一套以人眼的主观感受最优为基准的视频编码技术,研究的是在带宽受限情况下,如何追求最佳的视觉感受。

把范围缩小到人眼主观感受,以及带宽受限两个条件时,会发现很多有意思的事情。

首先和现在的编码标准发展趋势是相同的,效果能够叠加。编码器发展时间,差不多每十年,编码器都会发展一代,编码质量会大约节约30%-50%的码率,这个码率的节约是按照PSNR评价标准来做的。但利用窄带高清的技术,把焦点集中在人眼的感受,可以把业界普遍浪费的带宽节省下来,让我们的带宽更多放在人眼感兴趣的地方,可以轻松达到30%的带宽节约,几乎可以平等地媲美一代编码器的进步。因为技术关注点在人眼上,我们可以把业界普遍处理不好的复杂场景做得漂亮,非专业观众一眼就可以看出优势。

窄带高清1.0——两套人眼视觉模型

窄带高清1.0是阿里巴巴在2016年推出的一个版本。在窄带高清1.0的背后隐藏着两个人眼视觉模型:

image

第一个模型称之为保真度与主观评分值之间的世界模型,横坐标是视频保真度,代表编码出来的制品与原始视频之间信息量差别,纵坐标是人眼对视频的评分,总共是5分。随着编码后视频越来越接近原始视频,人眼对视频的要求是越来越高的,但并不是一条线性的形状,是分成三段曲线,这使得阿里云知道中间这段非常陡峭的区域正是设置比较好码率的地方,在两端比较平坦的地方,加大视频码率,提高视频客观清晰度,实际上并不能带给人眼很好的清晰度。中间稍微把码率提高一点,视频对人眼的感受就完全不一样,每一比特码率都会非常有所值。所以阿里云在设置视频码率时会尽可能选择视频档位在中间的区域。

第二个模型是分辨率与码率的模型。在这个模型中,关注的是同样的码率到底应该设置多少清晰度,或对一个给定的清晰度,应该设定一个怎样的码率。传统视频网站中,通常设置方法,比如480p会设600k,720p设1.2m,超清1080p设2.5m,类似这样一个比较固定的码率设置。实际上每个视频所需要的码率不一样,表达的清晰度也不一样。例如,对于一个运动场景不复杂的教育视频来说, 1080p在的码率也会有非常好的效果。在实践中,我们会根据视频的类型和清晰度,预期选择码率和分辨率,同时根据视频内容做合理的码率分配。

通过传统方法,通常会设一个720p分辨率,码率大概是1m。实际上这个视频表现非常糟糕,鸟叔衬衫上全是马赛克,而且雪花点全部变得模糊。原因是这个视频运动非常复杂,只有1m码率,这种情况下,需要用1m码率去表达1280×720象素,对每一个象素的表现都会非常差,会损失很多象素细节,导致整体效果。
image

我们做过以后的效果,只用了887k码率,比之前码率节省15%-20%,用的是432p的分辨率,在窄带高清时经常会设置这样的分辨率,追求达到最好的人眼主观感受的效果。

窄带高清2.0——深入微观世界 分析视频细节

窄带高清2.0是阿里云在2017年杭州云栖大会发布的。窄带高清2.0深入到微观层面,分析视频每一个细节,发现这些视频细节对人眼敏感度是怎么样的。引入人眼敏感度模型概念,关注人眼到底会关注哪些细节、忽视哪些细节。对人眼关注的地方会给予更高的码率,甚至会对原始视频进行一些修复,使其更适合人眼观看的体验。对于忽视的地方可以降低一些码率。

从我们主观评测可以发现,基于H.264的窄带高清2.0已经完全超越了x264 veryslow的效果,与x265的veryslow效果相当,通过窄带高清2.0,使得我们可以超越当前编码器,提前进入到下一代编码器。

image

下面我们看下窄带高清2.0的实战。下图的直播画面中,在聚焦区域,主播的脸、头发,窄带高清2.0的效果会显得更加柔顺。在一些脱焦的区域,窄带高清2.0分配了比较少的码率,完全不会影响人眼对它的主观感觉。

image

另一个实战场景是游戏直播。枪战类型的游戏直播非常消耗码率,1080p设置2.9m的游戏直播,整体来看会有非常多的马赛克,因为这个视频在2.9m,完全无法表达1080p的象素,窄带高清2.0使用了720p的分辨率,同样2.9m,效果会好得多,另外,窄带高清2.0将人眼比较敏感的文字,纹理做了增强,整个视频看起来更加舒服。
image

窄带高清2.0可以节约大量的带宽成本,同时也能够提高视频观看流畅度,在高码率时能节省差不多1倍的码率,在低码率时能节省20%-30%,综合可以得到30%以上成本的节约。另外,窄带高清2.0还可以提高清晰度,如果追求的是视频清晰度,可以设置相同的码率。

在通常情况下,视频画质越好带宽费用肯定越高,带宽又是视频服务中占比很高的一项成本,很多开发者都在寻求效果与成本的平衡点。阿里云的窄带高清技术,就可以完美的解决这一难题,这就是云计算技术带来的实际价值体现。

点击参与聚能聊话题——【趋势探讨】2018年,视频行业新革命指向何方?

参与互动,回复你的看法,阿里云代金券和充值话费等你来拿!

视频云产品咨询,请扫码加入钉钉群

image

阿里云视频云讲师团亮相亚太CDN峰会,点击查看其他演讲摘要:

阿里云朱照远:AI打开新视界 8K时代已来!

基于PCDN技术的无延时直播方案

亚太CDN峰会,阿里云王海华解读云+端+AI的短视频最佳实践

目录
相关文章
|
存储 人工智能 编解码
阿里云助力抖音首次世界杯直播,为中国球迷提供超低延时高清体验
国际顶级体育赛事的背后越来越多地出现阿里云的身影。继东京夏奥、北京冬奥之后,阿里云再次成功支持2022卡塔尔世界杯的国内直播。
203 0
|
机器学习/深度学习 编解码 人工智能
|
存储 编解码 人工智能
阿里云视频云发布实时高清VVC编码器Ali266,真正开启VVC商用之路
基于新一代国际视频编解码标准 H.266/VVC,阿里云视频云近日发布了实时高清编码器 Ali266,有力推动 H.266/VVC 标准应用的落地,真正开启 H.266/VVC 的商用之路,并强力赋能超高清 4K、8K、以及 AR/VR 等应用的真实普及。
阿里云视频云发布实时高清VVC编码器Ali266,真正开启VVC商用之路
|
云安全 编解码 自然语言处理
阿里云边缘云助力东京奥运会高清点播 畅享奥运精彩瞬间
7月22日,国际奥委会主席巴赫在东京举行的发布会现场表示,今年奥运会将首次采用阿里云支撑全球转播,这是奥运迈入数字时代的重要一步。奥委会官方网站成为全球媒体记者及观众第一时间观看每日精彩赛事集锦和颁奖时刻的重要渠道之一,在承接高频次实时访问网站内容的背后,稳定、流畅、安全的视频内容分发是必不可少的,以确保低延时、低卡顿、秒开流畅的极致观赛体验。
844 0
阿里云边缘云助力东京奥运会高清点播 畅享奥运精彩瞬间
|
机器学习/深度学习 存储 编解码
亮相 LiveVideoStackCon,透析阿里云窄带高清的现在与未来
2021.4.16-4.17,阿里云视频云亮相 LiveVideoStackCon 音视频技术大会上海站,带来三场不同视角的主题演讲,并与众多行业伙伴一同交流。在 “编解码的新挑战与新机会” 专场,视频云的资深技术专家深度分享了 “窄带高清” 技术演进思路。
亮相 LiveVideoStackCon,透析阿里云窄带高清的现在与未来
|
弹性计算 监控 视频直播
阿里云心选“小眯眼摄像头”视频监控天猫精灵可控手机远程wifi高清
现在很多家庭都有这样的无奈,那就是年轻人在外打拼养家糊口,老人在家照顾孩子,年轻人除了要认真工作之外还要担心家里的老人会不会有事?家里的孩子有没有问题?虽然有视频电话可以关注,但是也无法做到随时随地关注家里的情况,这个时候就有必要花 100 元购买一台阿里云智能摄像头小眯眼,这是高清家用摄像机,插电即用,无需设置,傻瓜式操作,360°全景巡查,1080P 超高清画质,移动侦测,语音报警等功能,WIFI 手机互联,手机远程随时查看,是家庭贴心的设计,是上有老下有小家庭的不二之选。
2105 0
|
编解码
阿里云加入开放媒体联盟AOM 科技巨头联合推广高清视频新标准
谷歌、亚马逊、阿里巴巴、苹果等科技巨头正在推动一项高清视频媒体的新标准。 日前,阿里云宣布正式加入全球顶级视频标准组织——开放媒体联盟(Alliance for Open Media ,简称AOM),与联盟内的其他厂商一同推广无专利费、跨平台的视频编解码AV1,推动全球范围内更广泛的高清视频标准的升级与应用。
3520 0
|
人工智能 边缘计算 物联网
阿里云朱照远:AI+超高清+边缘计算是下一代CDN的核心
近日,2018亚太CDN峰会在北京举行,相比去年弥漫的“降价”硝烟,这一次阿里云等云厂商的核心不再是价格,更多的是专注技术领域的创新,包括展示了人工智能、8K、边缘计算等新技术在视频、物联网行业的应用。
4558 0
|
4天前
|
存储 关系型数据库 数据库
给阿里云的建议和意见 一个云服务器架构是否可行
摘要(Markdown格式): 在修复阿里云服务器IPv4设置错误时遇到困难,导致服务器远程登录失败及外网访问受阻,耗时三天解决。建议阿里云更新文档,确保设置指导与实际情况一致,例如只需在路由表添加条目关联IPv4。此外,建议优化帮助页面,如采用折叠式设计减少干扰。服务器主要任务是数据分析、存储和分发,文中提出简化服务器框架,消除硬件软件复杂配置,利于初学者和独立开发者快速上手,降低时间成本。该设计旨在减少无用组件,节省资源,同时降低云服务商的人力和支持成本。期望云服务商考虑此类架构创新。目前未知是否有类似产品,期待业界反馈。
208 0
给阿里云的建议和意见 一个云服务器架构是否可行