文/ Jan Ozer

译/ 元宝

原文

https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=131182

每年在参加NAB的时候我都对产品没有抱什么期望，日程安排也都是比较随意，而不是经过精心组织安排的。会场到处都是我想要见的公司和朋友，还有其他一些公司，他们的营销人员很积极，会恰好在合适的时间打来电话。另外，在我空闲时间的时候，我也会在展厅里看看有哪些吸引我目光的公司。因此，本篇文章是有关于“Jan在NAB所看到的内容”，而不是“展会上所有与流媒体相关的重要进展”。

每个知道编码阶梯是什么的人都应该先阅读第一部分；然后，我会将这些技术分成几个部分，这样您就可以快速浏览并查看哪些部分可能与您相关。希望这对你是有所帮助的。

新的提升

2015年12月14日，Netflix通过引入按标题编码的方法来替代了固定编码阶梯，该编码方式根据每个视频的独特内容为每个视频创建特定的阶梯。在NAB 2019，按标题编码被上下文感知编码的概念所淘汰，上下文感知编码结合了视频的独特内容、网络和设备使用统计数据，根据观众实际观看视频的方式，为每个视频创建一个优化质量的阶梯。实际上，上下文感知编码可以降低编码、存储和带宽成本，并提高用户的观看体验。

这个概念很简单：QoE信标和网络日志提供了一些细节，比如观看者的有效可用带宽、他们用来观看视频的设备以及在编码阶梯上的查看分布。您的编码阶梯应该同时考虑这些数据和内容。

第一个将这个概念产品化的是Brightcove及其上下文感知编码(CAE)。在一篇题为《优化大规模多屏幕视频传输》的白皮书中，Brightcove的作者为三家不同的运营商创建了同一视频的编码阶梯，第一家运营商主要面向移动用户，第二家运营商主要面向PC和电视用户，第三家运营商专门面向通过电视观看视频的高带宽用户。图1显示了为每个运营商创建的编码梯形图，同样也是为相同的内容创建的。

图1. Brightcove的Context Aware Encoding（CAE）根据设备和网络统计信息为相同的内容生成三个不同的梯形图。

本文将这些梯形图与Apple HLS 创作规范中推荐的HLS编码梯形图进行了比较，并说明了三个自定义梯子如何减少再现和整体存储的数量，以及如何减少带宽和提高体验质量。它为CAE提供的价值是提供了引人注目的画面。

Brightcove已部署CAE超过一年了，而在NAB至少有两家公司——Epic Labs和Mux，透露了他们类似想法的版本。Epic Labs在一个名为LightFlow的产品中提供其版本，并且至少有一个高容量用户，而Mux则在4月份添加了Audience Adaptive Encoding 到它的编码堆栈中。

图2.反馈到Epic Labs的LightFlow系统的带宽和设备数据。

有关Brightcove和Epic Labs产品的更多信息，您可以观看我对Epic Labs创始人兼首席执行官Alfonso Peletier的采访。

您现在可以使用现有的编码工具和工作流做些什么呢？除了与这些公司签约之外，您还可以仔细查看观众最常使用的设备分辨率以及通常消耗的编码阶梯的梯级，然后进行一些常规的调整。许多主要服务于北美、欧洲和远东国家的组织会发现，大多数观众都是在观看最热门的两到三条流，而且它们可以在不降低QoE质量的前提下，从自己的梯子底部剪切下一两段。相反地，那些主要服务于较低比特率的查看器的最好方法是将它们的大部分梯级集中在这个范围内的查看器上。快速浏览图1可以为这些工作提供指导。

在我看来，无论以什么名义，将网络和设备数据合并到编码梯形公式中是我在NAB看到的最重要的技术。但还有许多其他亮点，这里只是一个简短的概要。

什么是Twitch？

Twitch.tv是一个进步显著且非常成功的运营商，通过贡献文章文章以及在会议中发表演讲，他们一直在与流媒体观众分享其专业知识。Twitch的明星之一是沈悦时，首席研究工程师（7级）兼项目工程经理。在一次采访中，悦时分享了Twitch采用VP9和AV1的计划，以及为什么在向成千上万的实时观众流式传输时绝对需要进行恒定比特率编码。

在VOD编码方面

我与Telestream开始了我的NAB，与市场总监Ken Haren讨论了Vantage Cloud端口。在较高的层次上，该端口使Vantage客户能够将许多以前只能在本地使用的工作流部署到云上，这是一个关键的好处，因为越来越多的公司将夹层资产存储在云上。

在我的下一站Capella Systems，我讨论了Cambria FTC的主要新功能，这是该公司的旗舰VOD编码器。与Telestream一样，Capella向Cambria添加了云功能，特别是能够启动运行Cambria的AWS实例，并将编码分发给这些实例，就像在本地编码场上运行的任何其他Cambria实例一样。Capella创建了AMI预置，用户可以在Cambria中启动和控制它。它非常适合将溢出编码需求推送到云，同时将正常负载以最经济的方式编码到现有系统。

另一个新功能是能够导入基本流并以DASH或HLS格式打包它们。这允许生产者对其内容进行一次编码，并根据需要将其打包以用于其他分发目标。这种先编码后打包的两步工作流程比针对每种输出格式从零开始编码要有效得多。

周三，我采访了Encoding.com创始人兼首席执行官Greggory Heil。除了讨论最近发布的全球格式报告，Heil还强调了一些新特性，比如编码和解码Apple ProRes、输出Dolby Vision的能力，以及Ludicrous HLS将源文件分割成更小的片段来加速编码。作为对上述按上下文讨论的一个有趣的对比，在采访之后，我问Heil为什么Encoding.com还没有提供按标题编码。他回答说，虽然按标题编码肯定都在他们的路线图上，但它在用户中并不是一个非常受欢迎的功能。

我与AWS Elemental进行了简短的会面，讨论了AWS MediaConvert的加速编码。它与Encoding.com的Ludicrous HLS一样，将视频分段提供给多个编码器，从而将编码速度提高至多25倍。

我还与云编码器Qencode的首席执行官Murad Mordukhay进行了交谈。Qencode提供一种按标题编码的形式，定价非常有吸引力，比如SD编码每分钟0.004美元。该服务支持所有相关的输入和输出格式，包括AV1，任何寻求云编码工具的公司都值得一看。

基于硬件的编码和解码

硬件转码是一个令人感兴趣的话题，我将在Streaming Media East上发表关于这个话题演讲。NETINT是一家提供超高密度解决方案的公司，它展示了基于公司自己的Codensity G4 SSD控制器SoC(系统在一个芯片上)的Codensity T400视频转码器，能够在高达单个4K / 60p或8x 1080p流的情况下进行可扩展的H.264 / H.265转码。Codensity芯片使用现在许多企业级存储服务器中常见的NVMe连接来实现高密度解决方案。

我还会见了Softiron产品战略顾问Anil Saw，他展示了他们的高密度HyperCast编码器，它是围绕Socionext的MB86M30 SoC构建的。HyperCast可以在1RU形式因子中支持多达32个SoC，每个SoC可以编码多达一个4K60流或四个1080p60流，每个流最多包含六个视频和两个音频输出。NETINT和Softiron都面向电信、有线、卫星和云视频服务提供商。

NGCodec开发、营销和销售基于Xilinx FPGA的硬件编码器。在NAB，NGCodec演示了实时的HEVC和AV1转码，他们声称比其他基于硬件的H.265和VP9编码器提供了30%的更好的压缩。值得注意的是，这是Twitch TV在其基于硬件的VP9代码转换中使用的技术。

AV1实时编码是一项技术预览，并且只支持i-Frame。另外还有一种新的HEVC双密度编码，它使每个FPGA的输出容量翻倍。NGCodec编码可作为AWS服务使用，使其易于访问。我与公司总裁Oliver Gunasekara进行了交谈，并就Intel / Netflix新发表的SVT/AV1编解码器发表了一些直接的评论。

同样在硬件方面，Beamr展示了基于Intel图形技术GPU的硬件加速CABR（内容自适应比特率编码）。在较高的层次上，Beamr将自己的速率控制机制插入到Intel GPU的HEVC编码管道中，因此Beamr可以在Intel CPU进行HEVC编码时进行速率控制。这加快了Beam的内容自适应编码性能，但质量可能与Beamr自己的基于软件的HEVC编码器的质量相匹配。

有趣的是，英特尔似乎正在通过其SVT-AV1公告以及相关的HEVC、VP9和H.264编解码器来远离硬件编码。Beamr正在进入这个领域，应该能够通过Beamr CABR SDK 将内容自适应功能扩展到任何GPU、CPU、FPGA或其他采用H.264或HEVC编码的硬件。

所有上述公司都使用硬件编码以进行分发。在贡献方面，我与LiveU工程副总裁Daniel Pisarski谈论了HEVC如何在LiveU生态系统中工作以及5G何时会贡献相关的内容。简而言之，HEVC很快就成为了LiveU用户所青睐的格式，尽管所有的传输都必须通过LiveU的云服务进行路由，在云服务中，信号从设备上的各种调制解调器组装到H.264上，然后被转换成H.264，最后流到最终目标。Pisarski预计5G将在未来12到24个月内变得重要。

质量和QoE监控

SSIMWave是SSIMPlus指标的开发者，该指标是用于VOD和实时监控的功能强大且轻量级的指标，并提供特殊的设备支持。在NAB会议上，我了解到该公司参与了ASC运动成像技术委员会的HDR评估工作组。目的是评估在HDR制作工作流程中使用的不同技术和格式如何保留“原始创作意图”，和“校准SSIM结构相似度视觉感知质量指标的HDR，宽颜色，超高分辨率的视频材料，基于专业电影摄影师和色彩师的反馈，以及制作和进行颜色分级的材料。

从本质上说，通过这些金眼睛的输入，SSIMplus将在HDR输出的准确性方面得到“训练”，这应该使其成为HDR生产的首选指标。为HDR评估创建的几个源/编码比较屏幕已经成为SSIMWave零售产品，包括用于比较源和编码输出之间的颜色相关差异的极好的屏幕。

我和QoE供应商的同事们一起度过了愉快的30分钟，他们都是工作上友好共事的人，这是名副其实的。我和Jonathan Shields谈到了NPAW产品线，包括他们在视频中的反流失和CDN切换工具。我们还花了一些时间讨论哪些视频发布者已经采用了QoE解决方案，哪些还没有，但应该采用QoE解决方案。基本上，Shields创造了一个强有力的案例，如果视频对一个行动至关重要，那么QoE也应该如此。

Finishing Up

还有这样的一些公司，他们的产品并不完全符合任何类别。其中一个是Mediamelon，它的SmartPlay Streaming是一种针对按标题编码的交付端优化器。也就是说，该服务测量ABR组中流的质量，并且只有当它实际增加了观察者所感知到的质量时，才分配更高的带宽流。因此，可能以1080p@3Mbps检索简单场景，而以1080p@5Mbps接收更高动作场景。系统还可以在复杂场景之前下载视频，以避免在受限条件下缓冲较大尺寸的片段。

我们以QBR的名义对产品进行了评审。虽然QBR运作良好，但它有一个严重的弊端，只有当梯子中的所有梯级都以相同的分辨率编码时，它才会工作，这与大多数推荐的方法相反。不过这个问题已经得到了很好的解决，公司进一步完善了其内部度量标准，并使用这个标准来度量编码阶梯中的流的质量。

这个名为MediaMelon iMOS的指标运行速度比实时更快，这很好，但我想知道评分与VMAF的关系有多密切，在评估完整编码梯子时，VMAF是我最信任的指标。MediaMelon提供了如图3所示的比较，它显示了这两个指标之间的合理相关性。因此，如果您相信VMAF，那么iMOS应该能够很好地预测您的观众实际感知到的质量，这意味着SmartPlay流媒体应该能够有效地为您服务。