导语:
你在互联网上看到的影视画面,真的是导演想表达的吗?
最好的视听体验应该是什么样的?
提升视听体验难道只是把清晰度调节的一高再高吗?
优酷的实践之路又是怎样的?
你想知道的,都在今天的解读文章里:
首先,让我们思考一个问题,如果我们既有一个精心制作的影片介质,也有业界领先的转码技术,观众同样具备品质一流的观影设备,在每个环节的设备、技术都趋于完美的前提下,观众是不是必然能够享受到最好的视听体验呢?
让我们看一下这张视频截图:
上图是影院电影介质直接放到互联网视频场景下播放的效果,单看上面这张截图,画质上给人的感觉还不错,但它原本是什么样的呢?我们再看一下影院的效果:
这张实际上是我们的原片介质,当我们在电影院的黑暗环境里观看时,观众的观影体验会很好,但是如果我们把它直接放到互联网的场景下,在较开阔、有光线的场景下观看,观众就会觉得有点暗淡。如果观众在手机上观看,边走边播,在强光场景下根本看不见这个画面的内容细节。
从上面两张图的对比中,体现出了一个问题——我们一直以来在互联网上看到的视频,都不是原本导演想呈现在影院中的样子。
那么,为什么会出现这样的情况呢?
我们知道,视频传播的过程,是首先从版权方处获取视频介质,然后进行转码等处理,最后在互联网中传输,在终端播放。在这个过程中,平台方和终端设备都有可能为了突出自己的产品特征而对画面做一些调整,导致视频偏离了原本的样子。而即使平台和设备都不作调整,用户在开放环境观看时调高亮度超出300尼特,很多设备就往往难以渲染出正确的色彩。
最终呈现出会是下面这种效果:
这就带来了一个新的问题:“改善”以后,我们看到的黑色还是黑色吗?绿色还是绿色吗?还是导演想展现的色彩吗?
我们应该做的,并不是简单的把画面调亮,而是把导演的意图和优质的体验,原原本本展现给互联网的用户,而这些体验,其实是用户原本就应该拥有的,我们只是做了我们应该做的事情。
我们知道,视频的生命周期,是从采集到制作到生产,最后到视频的呈现,这里有很多环节,每个环节上都有非常专业的团队来保障。在制作环节会做调音、调色,在生产环节会做编码压缩,在呈现环节的会做解码和后处理,每个环节独立来看都做的不错。但如果我们站在链条的两端来看,制作侧和呈现侧看到的视频效果存在比较大的差异。
举个例子,这一百年来我们是如何保证电影的画面品质的呢?
制作方面,电影的后期调色有标准的设备和流程,呈现方面,所有的电影院都按照既定的工业标准来建设。说具体一点,传统电影是在48尼特上调色,在48尼特的电影荧幕上呈现,这是可控的。而在电影下线了以后,会再重新生产,加工成DVD版,在100尼特这个亮度进行调色,最终在100尼特的电视上呈现。也就是说,过去的电影一直是在一个可控的流程里,在相同的标准下做处理。
但是今天,我们的场景发生了改变,我们有形形色色的终端,有手机、Pad、PC、电视、投影,呈现场景已经不可控的,所以今天我们看到的画面,已经不是我们的导演原本希望呈现的画面了。这是今天我们想去解决的问题,当然整个链条上的联动不是靠优酷一家可以解决的,因此我们需要更多产业链上的朋友和我们一起来解决这个问题。
今天,优酷已经从下面四个点上来落实我们的目标:
第一步,智能化的后期制作。
我们前面举了电影和电视后期制作的例子,同样,互联网场景,也应该有后期制作的方式和标准,例如视频的后期调色。
下面这张图是《黑豹》中的一个截图:
我们能看到,这个场景非常黑,如果说我们原封不动的搬上互联网,用户体验很差,我们需要单独为互联网的场景做新的调色,让这个场景里的素材尽可能被用户看到。
为了快速将优酷内容库批量处理为适合视频互联网传播的版本,我们使用了自适应调整映射曲线的算法,根据内容明暗程度,有时提升暗区对比度,有时提升亮区对比度。
如图所示,在常规光线下,大量的暗部细节很难分辨,所以我们会根据环境光强做直方图均衡,使用对角线以上的映射曲线,结果如下图:
当然,为了保证影片最佳品质,优酷将连同更多的内容商从后期制作阶段就调出专业的互联网版本。
音频方面,移动互联网观影场景与影院也有差异。互联网音频的播放多用耳机或外放,少有理想的封闭环境。影院常用强背景音效,当转成双声道,在移动场景下播放时,往往会发生对白听不清的情况。这也是我们会在后期制作环节解决的。除了人工调音,优酷也采用了自动化处理的方式。
上图的重点在于人声和场景混合的部分,我们选择人声频段加以增强,来提升对白的相对响度。
第二步,普惠HDR。
当下很多电视机支持HDR解码,而屏幕亮度却各不相同,后处理算法各异,因此同样的内容在不同的设备上的播放效果也参差不齐。假如我们有在1000尼特调色的HDR内容,但在500尼特的终端上如果只是线性映射,播放效果是欠饱和的。同理,今天大部分的内容是SDR的,也就是在100尼特上进行后期制作,把它放到500尼特的终端设备上播放也会导致欠饱和,画面发灰。如下图,
为了解决这个问题,我们针对终端屏幕亮度和后处理策略在云端渲染出最适合的画面,真实重现导演真正想表达的艺术效果。
第三步,TRUEMOTION-真实还原现场
优酷在世界杯直播中有一个非常重要的技术点,就是采用了帧率上变换(Frame Rate Up-Conversion,FRUC)算法实现了25帧转50帧。插帧的算法有两种,内插法和外插法,两种算法各有所长,优酷融合了内插法和外插法,使任何客户端都可以观看无瑕疵的高帧率球赛。具体的算法实现可以参考后藤的文章《优酷世界杯直播50帧极清算法解析》。
但要特别强调一点,高帧率未必是好的,要针对场景,结合内容,来决定用什么样的帧率。不久前,李安导演的《比利林恩的中场战事》采用了120帧,部分影评家就评论没有了电影的质感。作为技术人应该充分尊重内容行业,去解决真正需要解决问题。所以,我们首先会对内容进行分析,充分听取内容行业的意见,当真正需要用高帧率来缓解人眼对画面的认错感带来的不适时,才会进行插帧。
第四步:ROI(region of interest感兴趣区域)高保真
去年我们发布的窄带高清2.0是通用的视频转码解决方案,其核心在于基于视觉关注度模型来做转码。在通用解决方案中我们采用了人眼易关注的、易忽视的、厌恶的定性规则来做差异性编码。
而在体育直播中,ROI更容易定义。观众视线必然是跟着持球区域走的,我们的机器视觉技术能够识别出球场上的球员、足球、草地、观众席,在编码时就可以有针对性的弱化看台区域等观众不关注的区域,增强我们的球员、足球、草地、尤其是持球球员的区域,准确地做到ROI高保真编码。这样既保证了观看效果,又降低了码率。
总而言之,我们希望通过技术以及对内容行业的尊重,把艺术家眼里的世界原原本本的呈现给观众,用艺术启发技术,用技术赋能艺术,让世界尽享智慧、快乐和感动!