面向未来,HDR将成为高还原度视频的重要选项。视频制作公司Mystery Box对HDR进行了详细解读。LiveVideoStack对本文进行了翻译。
文 / Mystery Box
译 / 蒋默邱泽
审校 / 包研
从模拟标准清晰度到数字4K,HDR视频是一场革命和跳跃。
或者说,把它放在临床上少得多,这是令人兴奋的,令人敬畏的,革命性的,令人难以置信的!如果它不让你兴奋,我不确定你为什么读这个...
那么HDR视频是如何特殊的,比我们所做的更美呢?这就是我们要在这里潜入的内容。
HDR视频与HDR摄影
如果你是一个摄影师或一个图像平面家伙你可能很熟悉HDR摄影。如果你认为“没关系,有什么大不了的,我们已经用了多年的HDR”,再次考虑。HDR视频与HDR摄影完全无关,“高动态范围”部分除外。
一般来说,任何高动态范围技术都试图在场景中捕捉或显示更多级别的亮度,即增加整体动态范围。这是一种'噗'的表示,但让我们带你一起去涨姿势吧。
在摄影中,这通常意味着使用不同曝光值(EV)的多次曝光,并将结果混合成单个最终图像。当然一直以来,无论您使用相机或HDR技术拍摄多少光源,您仍然受到8位JPEG压缩和计算机/电视显示器提供的相同256级亮度的限制,即使印刷油墨稍微大一些但仍然有限的色调。 因此,大多数HDR摄影依赖于在整个图像中创建局部对比区域,混合不同的曝光等级以保留黑暗和灯光下的细节:
标准对比度的照片与局部对比度相同
虽然结果往往很漂亮,但它们本质上是不自然的或超现实的
HDR视频是完完全全的不同
HDR视频不是试图将场景的自然动态范围压缩到非常有限的动态范围内,而是通过增加平均和峰值显示亮度(以nits度量),并通过增加总体来扩大显示器本身的动态范围图像比特深度从8比特到至少10比特/信道,即从255个亮度等级和1600万种颜色,到至少1024个亮度等级和10.2亿个颜色。
标准视频 / 摄影范围 / HDR摄影对比HDR视频范围
显示光级的改变允许通过黑暗和灯光的扩展色调范围,使得最终显示的图像本身是场景的更自然的渲染,其能够匹配当今数字电影的整体动态范围和电影来源的相机。也许更重要的是,当完全实施时,HDR视频将几乎完全匹配人眼本身的动态范围。
它有多大的交易?我第一次向他展示HDR视频时,我无法描述它比我的哥们更好:
我想说,这就像你正在通过一扇窗户进入另一个世界,除了当你通过一扇窗户看时,它不像那样清脆,干净或者清晰。
对HDR视频的惊呆印象
我们是怎样走到这一步的?
所以如果HDR视频比我们目前使用的要好得多,为什么我们一直没有使用它?
而现在,对于历史课(这很有趣,但不是必须知道的,所以如果你不在乎,请跳过这里)
自19世纪80年代末以来,阴极射线管作为一种科学仪器和“显示”设备,已经以某种形式存在了,但第一台CRT照相机直到20世纪20年代末才被发明出来。早期的相机很大,分辨率很低; 电视有颗粒感、嘈杂、低保真。
电视早期的事情发生了很大的变化。随着越来越多的公司加入CRT电视行业,各自创建了略有不同且不兼容的电视系统,以避免侵犯专利权。这些不同系统具有不同的信号类型,这意味着家用电视机必须与广播机构使用的摄像机相匹配,即它们必须由同一家公司制造。因此,该地区的第一家广播公司为设备制造商创造了当地垄断地位,他们购买了第一台相机,消费者别无选择。
当越来越多的人开始购买电视机,越来越多的广播公司想要进入某个领域时,预见到一个大问题,美国政府介入并表示,系统的多样性将无法实现——所有的电视广播和电视机都必须兼容。为了实现这一目标,他们成立了一个新的管理机构——国家电视系统委员会,简称NTSC,该委员会在1941年继续定义了第一个国家电视标准。
从那时起,我们就不得不处理标准化的结果,无论好坏。
很明显,好处是我们不必为每个我们想要观看的频道或者我们想要居住的国家的每个地区购买不同的电视机(尽管跨国公司通常仍然不走运)。不好的一面是,自从1941年以来,标准的每一次演变都需要向后兼容性:今天的数字广播标准和计算机显示标准,仍然部分地受限于CRT在20世纪40年代和50年代可以做的事情。
你不相信我?即使忽略NTSC 1 / 1.001帧速率修改器,仍然有很大的影响力:让我们看一下列表:
1. 色彩空间:NTSC的YIQ色彩空间和PAL和SECAM中使用的YUV色彩空间都基于短光辉荧光粉可以产生的颜色,它们覆盖CRT屏幕的内部并形成光线和色彩CRT的元素。在向数字化过渡时,YIQ和YUV成为Rec。601色彩空间(标清数字),这反过来是Rec的基础。709(高清数字)色彩空间(第709号录像与第601号录像几乎使用相同的基色)。
2. 为了防止您的电脑被遗漏,sRGB显示器标准中也使用了相同的色彩原色,因为所有这些色彩空间都是以显示器为参考的,而且它们都是基于相同的CRT技术构建的。因为直到21世纪初,CRT才是电子显示图像的方式--LCD的对比度低,等离子显示器价格昂贵,LED和DLP都没有出现。
3. 传递函数:SD和HD中使用的传递函数(也称为伽马曲线)也基于CRT的自然光电和电光响应。CRT相机以约伽玛1 / 2.2的光 - 电压响应曲线捕获图像,而CRT显示器以约2.4的电压 - 光响应曲线重新创建图像。这些值一起形成了1.2的标准近似系统伽玛,并且形成了在ITU-T建议BT.1886中找到的2.4的当前参考显示伽玛标准的基础。
4. 亮度限制:最后,也许最令人沮丧的是,颜色准确的CRT显示器需要有限的亮度来保持其颜色精度。根据用于原色的实际荧光粉,最大亮度值通常落在80-120尼特范围内。消费类CRT显示器虽然尺寸更大,亮度更高,颜色准确性更低,但仍然只能达到最高200尼特的亮度。相比之下,晴天在不同户外表面发现的亮度等级在5000-14,000范围内(或更多)。
参考和消费级显示器级别之间的这种大亮度差异近年来随着用LCD,等离子和OLED显示器取代CRT,可以轻松推动300-500尼特峰值亮度而变得更加突出。这些亮度等级会歪曲参考图像的整体外观,同时对环境光线条件的变化不甚敏感。简而言之,这意味着按照目前的标准,消费者很少有机会按照电影制作人的意图在家中看到内容。
因此,由于传统的阴极射线管(一种淘汰技术),我们陷入了一套传统标准,这限制了我们如何向消费者提供图像。但是由于CRT是一种死亡的技术,我们现在有机会可以选择在20世纪50年代剩下的时间里被束缚,或者说“够了就够了”,并且使用更好的东西。有前瞻性的想法。我们目前的技术甚至无法达到100%,比如HDR视频。
HDR模式
目前,HDR视频有两种不同的类别和多种标准,包括CTA的HDR 10媒体档案,杜比的杜比视觉和BBC的混合记录伽玛HLG。当然他们都会做一些不同的事情。我将在后面部分:HDR视频术语解释中深入介绍它们之间的差异,但现在我将把它们集中在一起,集中讨论所有HDR视频的常见方面,以及与其中的视频不同之处过去。
调用HDR视频需要四个主要方面:ITU-T建议书BT.2020或DCI-P3色彩空间,高动态范围传输功能,每通道10位传输和显示值以及传输的元数据。
1. 色彩空间:大多数人认为HDR视频是现有BT.2020 UHD / FUHD和DCI规格的延伸,因此使用更宽的BT.2020色域(BT.2020是4K / 8K替代BT.709 / Rec.709 HD广播标准),或者更有限但仍然宽的DCI-P3色域。
BT.2020使用纯波长原色,代替基于CRT荧光粉或任何材料发光的主要数值。当然,我们无法在桌面显示器中完全展示这些技术,但只有最新的激光投影仪才能覆盖整个颜色范围。但最终,色彩空间的广度覆盖了尽可能多的可见颜色,包括三个实际的原色*,并包含Rec.709 / sRGB和DCI-P3中已有的所有颜色值以及100%的Adobe RGB和大多数现有颜料和染料可用的输出打印空间。
2.传输功能:HDR视频与标准BT.2020和DCI规范不同的是其亮度 - 数字值和数字 - 数值 - 亮度级关系,分别称为OETF和EOTF。我将在另一期更深入地讨论OETF和EOTF,但现在我们需要知道的是,目前的光水平和数字值之间的关系是阴极射线管时代的遗留问题,并且近似于2.4伽马值 。在这样系统下235的全白数字值转换为80-120nits之间的光输出。
由于人眼的非线性响应,将相同的曲线延伸到更高的动态范围输出中证明是有问题的:它会导致在黑暗和灯光中严重步进,或者每个通道需要14-16位,同时浪费数值以实际上看不到的增量。它仍然不会向后兼容,在这种情况下,有什么意义?
因此,HDR视频使用两条新的传输曲线之一:BBC的混合对数伽玛(HLG),在ARIB STD-B67中标准化,允许输出亮度从0.01尼特到约5000尼特,以及杜比感知量化(PQ )曲线,在SMPTE ST.2084标准化,允许输出亮度从0.0001尼特到10,000尼特。
PQ是杜比为了测量人眼响应而进行的直接研究的结果,并创建了一个曲线。其中没有值被浪费,值之间没有可见的跳动。就未来输出亮度的最大化而言,PQ的优势非常明显(当前最好的实验性单个显示器最大输出量为4000尼特;杜比测试设备的输出范围为0.004至20,000尼特),并增加了在黑暗中捕获的细节数量。
另一方面,HLG提供了一定程度的向后兼容性,匹配曲线前50%的伽玛2.4输出电平,并将最高50%的值保留到较高的亮度输出。一般来说,系统伽马值为1.2的HLG内容看起来与标准动态范围内容非常近似,尽管有时候白色的内容有时会被压缩和灰色差不多至少比SDR中使用的内容压缩更加严格。
在Rec.709和HLG中对比的画面。
(注意:我喜欢在SMPTE st.2084中进行分级,因为在黑色中有扩展的动态范围,并且平滑地过度到白色。)
3. 位深:新的传输曲线突出了从模拟值到数字值切换后的视频问题:改进。随着显示器变得更亮,两个代码值(比如25和26的数字值)之间的差异有时足以让我们看到两个灰色之间的明显区别线。当使用最大亮度大于参考标准的显示器时尤其如此,并且在黑人中比在白人中更常见。
BT.2020和DCI标准都已经要求通过将信号编码和传输从每个信道8bit切换到最低10bit(DCI为12bit)来降低门槛改进,允许至少4倍平滑梯度。但是,BT2020仍然允许在显示器上进行8位渲染,这在当今市场上的绝大多数电视机和参考显示器上都能找到。
另一方面,HDR视频更进一步,需要在显示面板本身进行10bit渲染; 也就是说,在所有操作亮度和对比度模式下,每个颜色子像素必须能够在876和1024个可区分的光级之间。
HDR需要10bit面板而BT.2020不需要的原因是,我们的眼睛更容易捕捉到颜色或渐变的值,而不是介入其色调或饱和度:眼睛可以轻松弥补较低的色彩保真度(BT.2020空间中的每个通道8bit),但通过HDR曲线,每个通道8bit两个编码之间的亮度级别跳变足够明显。
比较8bit,10bit和12bit精度的梯度渐变步骤(强度对比)
4. 元数据:HDR视频要求标准BT.2020不支持的最后一件事是元数据。所有形式的HDR视频应包含有关内容和主控环境的信息。这包括在等级中使用哪种EOTF,内容和显示的最大和帧、平均亮度,以及使用了哪些RGB原色。杜比视觉牛逼在于它包含元数据,可以逐帧定义如何将HDR值转换为SDR范围!!
消费显示器制造商利用这些信息来实时调整屏幕内容,知道何时剪辑或压缩高光和黑暗(基于显示的屏幕功能),以及自动选择操作模式(切换从Rec。709到BT.2020,以及进出HDR模式,最终用户不必更改设置)。
总之,HDR视频有什么不同?更宽的色域更高帧率,新的传输函数曲线,可实现更大范围的亮度,每通道10bit最低要求在显示器上显示,以及传输元数据以将有关内容和主控环境的信息传达给最终用户。
所有这些都是必不可少的,其中没有一个完全向后兼容的
是的,但是它看起来像什么?
不幸的是,要真正向您展示HDR的唯一方式就是告诉您去展览会或后期拍摄的影片中展示,或者购买具有HDR功能的电视并传输一些实际的HDR内容。因为当你在普通显示器上显示HDR内容时,它看起来特别扭:
SMPTE ST.2084中的图像HDR视频格式直接进入Rec.709或sRGB Gamma 2.4的情况
如果我将标准动态范围图像的亮度等级降低一半,并将其与更接近HDR亮度范围的亮度等级并排放置则可以获得一点点视觉感:
标准化缩放SMPTE ST.2084 HDR视频与Rec. 709亮度调整对比
但是这并不能捕捉到HDR视频的实际效果。我不知道如何清楚描述它 - 它强大,美观,清晰,真实,现实和多维。对于图像,实际上有一种生理和心理上的反应,你没有用标准的动态范围素材获得 - 不仅仅是对图像质量的情绪反应,但更高的亮度水平实际上会触发你的眼睛和大脑中的东西,让你从字面上看,它与你以前见过的任何东西都完全不一样。
一旦你开始经常使用它,没有其他的东西看起来像是令人满意的,没有其他图像极其漂亮。你最终感觉到其他一切都有点不足。这就是为什么HDR一定会很快成为未来视频的新常态。
LiveVideoStack Meet | 上海
多媒体开发新趋势
2018年初的视音频技术生态并不平静,Codec的争夺进入群雄逐鹿的时代; WebRTC 1.0版定稿在浏览器中,移动端乃至IoT上的多媒体通信; AI,区块链技术的发展,正在与多媒体开发发生在化学反应,将成为推动生态发展的新力量。
2018年,LiveVideoStack将通过“LiveVideoStack Meet:多媒体开发新趋势”系列沙龙,展现新技术在音视频领域的探索与实践,以及新兴应用场景和传统行业的最新最佳实践。
讲师与话题:
吴威麒:触宝科技音频技术专家
《实时语音通信的音频后处理技术》
曾小伟:苏宁云商IT总部技术副总监
《如何使用机器学习算法优化分发链路》
沈轲轶:腾讯天天P图iOS开发组长
《iOS实时相机的GPU实践》
盛骁杰:优酷VR技术专家
《超高清VR直播技术的演进与挑战》
崔文秀:北京三体云联科技有限公司总监
《实时音视频技术赋能传统行业》
蔡锐涛:相芯科技图形引擎负责人
《Animoji动态表情的技术实现》
点击 [阅读原文] 了解相关活动信息,快来报名吧!