【首发干货】打造互联网极清影院:优酷视听体验升级技术解读

简介: 你在互联网上看到的影视画面,真的是导演想表达的吗?最好的视听体验应该是什么样的?提升视听体验难道只是把清晰度调节的一高再高吗?优酷的实践之路又是怎样的?

导语:

你在互联网上看到的影视画面,真的是导演想表达的吗?

最好的视听体验应该是什么样的?

提升视听体验难道只是把清晰度调节的一高再高吗?

优酷的实践之路又是怎样的?

你想知道的,都在今天的解读文章里:


首先,让我们思考一个问题,如果我们既有一个精心制作的影片介质,也有业界领先的转码技术,观众同样具备品质一流的观影设备,在每个环节的设备、技术都趋于完美的前提下,观众是不是必然能够享受到最好的视听体验呢?

让我们看一下这张视频截图:

image.png

上图是影院电影介质直接放到互联网视频场景下播放的效果,单看上面这张截图,画质上给人的感觉还不错,但它原本是什么样的呢?我们再看一下影院的效果:

image.png

这张实际上是我们的原片介质,当我们在电影院的黑暗环境里观看时,观众的观影体验会很好,但是如果我们把它直接放到互联网的场景下,在较开阔、有光线的场景下观看,观众就会觉得有点暗淡。如果观众在手机上观看,边走边播,在强光场景下根本看不见这个画面的内容细节。

从上面两张图的对比中,体现出了一个问题——我们一直以来在互联网上看到的视频,都不是原本导演想呈现在影院中的样子。

那么,为什么会出现这样的情况呢?

我们知道,视频传播的过程,是首先从版权方处获取视频介质,然后进行转码等处理,最后在互联网中传输,在终端播放。在这个过程中,平台方和终端设备都有可能为了突出自己的产品特征而对画面做一些调整,导致视频偏离了原本的样子。而即使平台和设备都不作调整,用户在开放环境观看时调高亮度超出300尼特,很多设备就往往难以渲染出正确的色彩。

最终呈现出会是下面这种效果:

image.png

这就带来了一个新的问题:“改善”以后,我们看到的黑色还是黑色吗?绿色还是绿色吗?还是导演想展现的色彩吗?

我们应该做的,并不是简单的把画面调亮,而是把导演的意图和优质的体验,原原本本展现给互联网的用户,而这些体验,其实是用户原本就应该拥有的,我们只是做了我们应该做的事情。

image.png

我们知道,视频的生命周期,是从采集到制作到生产,最后到视频的呈现,这里有很多环节,每个环节上都有非常专业的团队来保障。在制作环节会做调音、调色,在生产环节会做编码压缩,在呈现环节的会做解码和后处理,每个环节独立来看都做的不错。但如果我们站在链条的两端来看,制作侧和呈现侧看到的视频效果存在比较大的差异。

举个例子,这一百年来我们是如何保证电影的画面品质的呢?

制作方面,电影的后期调色有标准的设备和流程,呈现方面,所有的电影院都按照既定的工业标准来建设。说具体一点,传统电影是在48尼特上调色,在48尼特的电影荧幕上呈现,这是可控的。而在电影下线了以后,会再重新生产,加工成DVD版,在100尼特这个亮度进行调色,最终在100尼特的电视上呈现。也就是说,过去的电影一直是在一个可控的流程里,在相同的标准下做处理。

但是今天,我们的场景发生了改变,我们有形形色色的终端,有手机、Pad、PC、电视、投影,呈现场景已经不可控的,所以今天我们看到的画面,已经不是我们的导演原本希望呈现的画面了。这是今天我们想去解决的问题,当然整个链条上的联动不是靠优酷一家可以解决的,因此我们需要更多产业链上的朋友和我们一起来解决这个问题。

image.png

今天,优酷已经从下面四个点上来落实我们的目标:

image.png

第一步,智能化的后期制作。

我们前面举了电影和电视后期制作的例子,同样,互联网场景,也应该有后期制作的方式和标准,例如视频的后期调色。

下面这张图是《黑豹》中的一个截图:

image.png

我们能看到,这个场景非常黑,如果说我们原封不动的搬上互联网,用户体验很差,我们需要单独为互联网的场景做新的调色,让这个场景里的素材尽可能被用户看到。

为了快速将优酷内容库批量处理为适合视频互联网传播的版本,我们使用了自适应调整映射曲线的算法,根据内容明暗程度,有时提升暗区对比度,有时提升亮区对比度。

image.png

如图所示,在常规光线下,大量的暗部细节很难分辨,所以我们会根据环境光强做直方图均衡,使用对角线以上的映射曲线,结果如下图:

image.png

当然,为了保证影片最佳品质,优酷将连同更多的内容商从后期制作阶段就调出专业的互联网版本。

音频方面,移动互联网观影场景与影院也有差异。互联网音频的播放多用耳机或外放,少有理想的封闭环境。影院常用强背景音效,当转成双声道,在移动场景下播放时,往往会发生对白听不清的情况。这也是我们会在后期制作环节解决的。除了人工调音,优酷也采用了自动化处理的方式。

image.png

上图的重点在于人声和场景混合的部分,我们选择人声频段加以增强,来提升对白的相对响度。

第二步,普惠HDR。

当下很多电视机支持HDR解码,而屏幕亮度却各不相同,后处理算法各异,因此同样的内容在不同的设备上的播放效果也参差不齐。假如我们有在1000尼特调色的HDR内容,但在500尼特的终端上如果只是线性映射,播放效果是欠饱和的。同理,今天大部分的内容是SDR的,也就是在100尼特上进行后期制作,把它放到500尼特的终端设备上播放也会导致欠饱和,画面发灰。如下图,

image.png

为了解决这个问题,我们针对终端屏幕亮度和后处理策略在云端渲染出最适合的画面,真实重现导演真正想表达的艺术效果。

image.png

第三步,TRUEMOTION-真实还原现场

优酷在世界杯直播中有一个非常重要的技术点,就是采用了帧率上变换(Frame Rate Up-Conversion,FRUC)算法实现了25帧转50帧。插帧的算法有两种,内插法和外插法,两种算法各有所长,优酷融合了内插法和外插法,使任何客户端都可以观看无瑕疵的高帧率球赛。具体的算法实现可以参考后藤的文章《优酷世界杯直播50帧极清算法解析》。

但要特别强调一点,高帧率未必是好的,要针对场景,结合内容,来决定用什么样的帧率。不久前,李安导演的《比利林恩的中场战事》采用了120帧,部分影评家就评论没有了电影的质感。作为技术人应该充分尊重内容行业,去解决真正需要解决问题。所以,我们首先会对内容进行分析,充分听取内容行业的意见,当真正需要用高帧率来缓解人眼对画面的认错感带来的不适时,才会进行插帧。

image.png

第四步:ROI(region of interest感兴趣区域)高保真

去年我们发布的窄带高清2.0是通用的视频转码解决方案,其核心在于基于视觉关注度模型来做转码。在通用解决方案中我们采用了人眼易关注的、易忽视的、厌恶的定性规则来做差异性编码。

而在体育直播中,ROI更容易定义。观众视线必然是跟着持球区域走的,我们的机器视觉技术能够识别出球场上的球员、足球、草地、观众席,在编码时就可以有针对性的弱化看台区域等观众不关注的区域,增强我们的球员、足球、草地、尤其是持球球员的区域,准确地做到ROI高保真编码。这样既保证了观看效果,又降低了码率。

image.png

总而言之,我们希望通过技术以及对内容行业的尊重,把艺术家眼里的世界原原本本的呈现给观众,用艺术启发技术,用技术赋能艺术,让世界尽享智慧、快乐和感动!

相关文章
|
8月前
|
数据采集 人工智能 监控
40.8K star!让AI帮你读懂整个互联网:Crawl4AI开源爬虫工具深度解析
Crawl4AI 是2025年GitHub上备受瞩目的开源网络爬虫工具,专为AI时代设计。它不仅能抓取网页内容,还能理解页面语义结构,生成适配大语言模型的训练数据格式。上线半年获4万+星标,应用于1200+AI项目。其功能亮点包括智能内容提取引擎、AI就绪数据管道和企业级特性,支持动态页面处理、多语言识别及分布式部署。技术架构基于Python 3.10与Scrapy框架,性能卓越,适用于AI训练数据采集、行业情报监控等场景。相比Scrapy、BeautifulSoup等传统工具,Crawl4AI在动态页面支持、PDF解析和语义分块方面更具优势
3042 0
40.8K star!让AI帮你读懂整个互联网:Crawl4AI开源爬虫工具深度解析
|
存储 物联网 PyTorch
基于PyTorch的大语言模型微调指南:Torchtune完整教程与代码示例
**Torchtune**是由PyTorch团队开发的一个专门用于LLM微调的库。它旨在简化LLM的微调流程,提供了一系列高级API和预置的最佳实践
667 59
基于PyTorch的大语言模型微调指南:Torchtune完整教程与代码示例
|
9月前
|
存储 监控 数据挖掘
消防行业如何借助时序数据库 TDengine 打造高效的数据监控与分析系统
本篇文章来自“2024,我想和 TDengine 谈谈”征文活动的优秀投稿,深入探讨了如何在消防行业中运用 TDengine 进行业务建模。文章重点介绍了如何通过 TDengine 的超级表、标签设计和高效查询功能,有效管理消防监控系统中的时序数据。作者详细阐述了实时监控、报警系统以及历史数据分析在消防行业中的应用,展示了 TDengine 在数据压缩、保留策略和分布式架构下的强大优势。
285 0
|
弹性计算 安全 Shell
阿里云ECS安全加固:从访问控制到数据保护的全方位策略
【6月更文挑战第29天】阿里云ECS安全聚焦访问控制、系统加固及数据保护。安全组限定IP和端口访问,密钥对增强SSH登录安全;定期更新补丁,使用防病毒工具;数据备份与加密确保数据安全。多维度策略保障业务安全。
425 15
|
存储 编解码 监控
深入剖析:DVR与NVR的核心技术差异
【4月更文挑战第21天】
1945 0
|
达摩院 调度
使用达摩院MindOpt优化交通调度_最大化通行量—线性规划问题
在数学规划中,网络流问题是指一类基于网络模型的流量分配问题。网络流问题的目标是在网络中分配资源,使得网络的流量满足一定的限制条件,并且使得某些目标函数最小或最大化。网络流问题通常涉及一个有向图,图中每个节点表示一个资源,每条边表示资源之间的关系。边上有一个容量值,表示该边上最多可以流动的资源数量。流量从源节点开始流出,经过一系列中间节点,最终到达汇节点。在这个过程中,需要遵守一定的流量守恒和容量限制条件。
|
缓存 JavaScript 前端开发
三个小时vue3.x从零到实战(vue3.x面试总结)
该文章总结了Vue 3.x面试中常见的知识点和问题,包括Vue的生命周期、核心概念、组件通信方式等方面的内容,有助于准备Vue相关技术面试。
206 0
STM32Cubemx PWM驱动SG90舵机
STM32Cubemx PWM驱动SG90舵机
861 13
|
SQL Oracle 关系型数据库
SQL查询结果导出方法详析及实践指南
导出SQL查询结果是数据库管理中的一个重要环节。不同的数据库系统提供了各自的工具和方法来完成这项任务。选择合适的方法取决于具体的应用场景、数据规模和个人偏好。无论是在命令行中使用简单的SQL语句,还是通过GUI工具或编程语言实现自动化脚本,都有助于提高工作效率,简化数据管理流程。
|
JSON Java fastjson
Java【问题 06】一次解决JSON.toJSONString和@RestController首字母大小写问题(特指属性首字母大写变小写)
Java【问题 06】一次解决JSON.toJSONString和@RestController首字母大小写问题(特指属性首字母大写变小写)
1341 0