微帧Per-Title编码技术:自适应码率-画质-分辨率

本文涉及的产品
视觉智能开放平台,视频资源包5000点
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,分割抠图1万点
简介: Per-Title编码技术由Netflix提出,旨在为每部电影量身定制合适的码率阶梯,以节省带宽和存储成本。传统固定码率阶梯在某些视频类型上存在浪费,Per-Title通过分析视频内容的复杂度,生成最优的码率-质量曲线,确保在有限带宽下提供最佳视频质量。微帧的Per-Title技术进一步优化了这一过程,通过智能算法和深度学习,为每个视频选择最合适的分辨率和码率组合,实现高效传输和优质观看体验。

Per-Title编码是指以节省码率、存储空间及传输带宽成本为目的,为每部电影(基于其空间和时间属性及复杂度)调整合适的码率阶梯(Bitrate Ladder)。

Per-Title技术的来源

Per-Title最早由Netflix提出并应用于其流媒体服务中,在Per-Title技术出现之前,视频服务供应商普遍依赖于一套预先设定的Bitrate Ladder,来处理几乎所有的视频内容。例如,下表给出了Netflix在采用Per-Title技术之前不同码率和分辨率组合的Bitrate Ladder。

image.png

对大多数视频而言,在码率受限的情况下,这种一刀切的固定Bitrate Ladder可以实现高质量编码,然而在某些情况下,如卡通动画或静态访谈节目,采用高达5800kbps的码率来编码1080P视频,无疑是码率上的浪费,造成了不必要的带宽与存储负担;而面对带宽仅能传输1750kbps的用户群体,他们本有可能享受720P高清画质,但受限于通用配置,只能局限于观看480P标清视频。

事实上,每一个视频都有自己的码率-质量曲线(RD曲线),如下图为某个视频3个分辨率档位的RD曲线,每条曲线上选取了3个点,表示固定Bitrate Ladder选取的3个码率档位。

image.png

在这个图中我们可以看到几个问题:

问题1:随着Bitrate Ladder爬升,会出现质量不单调提升的现象。用户消耗了更多的带宽,但是接收到的视频质量反而更低了。
image.png

问题2:在同样码率(带宽要求)下,切换不同的分辨率档位,视频质量还有提升空间。
image.png

把几条RD曲线合并起来,提取他们的凸包(Convex Hull,或称外包线),在这个凸包上取点,就可以避免这两个问题。
image.png

如上图所示,绿点就是在凸包上取点,取代原先的黑点。而对于比较靠近的几个绿点和黑点,可以只挑选有代表性的一个,得到简化ladder,如图中蓝圈所示。按照图中的蓝色箭头爬升ladder,我们将得到单调递增的视频质量。相比固定Bitrate Ladder,这种方式可以保证提供给用户的视频质量是最优的,同时降低了带宽传输成本。

微帧Per-Title编码技术

微帧Per-Title编码技术的目标,就是为每一个视频或视频片段量身定制,找到最优的凸包,精准锁定既满足画面清晰度要求,又符合主观观看敏感度标准的最低码率点,以达到节省带宽的目的。
image.png

为了达到最佳质量的视频流,微帧设计了两套不同的Per-Title优化算法:一是常规码率-分辨率选择的Per-Title优化算法;二是基于CRF(恒定质量因子)的Per-Title优化算法。

常规码率-分辨率选择的Per-Title优化算法

与其他常规策略相比,微帧的Per-Title优化算法在相同码率下能实现更高的视频质量,可以在最大码率限制下选择主观质量最优的分辨率,并且能够检测R-Q(码率-质量)水平,以更低的码率获取同等的主观质量。

基于CRF的Per-Title优化算法

也许存在一个观点认为,CRF已经能够根据视频内容自动调节码率,可以避免带宽浪费,没有必要再引入Per-Title。然而这种观点忽视了视频编码过程中更为复杂和多维的需求,CRF虽然能动态调整码率,但并未充分考虑视频在不同分辨率下的表现差异,Per-Title则能基于视频内容特性和观看条件给予全方位的优化策略,在不同分辨率和码率下提供最优解。

一般情况下,简单场景倾向于选择高分辨率以展示更多细节,复杂场景则倾向选择低分辨率以有效控制码率,同时保持视觉质量的稳定性。微帧基于CRF的Per-Title优化算法,通过深度学习拟合每个视频在不同分辨率下[码率-CRF-VMAF]三者之间的关系,并根据三者之间的关系给出既定要求下的最佳编码参数,能够在特定码率要求下达到最佳画质(最大化VMAF分数),或在满足VMAF分数的前提下最小化码率。无论是追求极致的视频体验,还是严格控制传输成本,微帧Per-Title优化算法都能给出最优的分辨率与CRF组合。

相比固定CRF ,微帧Per-Title有什么优势?

1) 在众多备选分辨率中,为每个视频挑选更合适的分辨率组合

通过对视频内容复杂度、场景切换频率、运动向量等多个维度的深度分析,自动为每个视频挑选最合适的分辨率组合,确保用户在各种观看条件下都能获得最佳的视觉体验。

2) 为每个分辨率选择最合适的码率或者CRF值

传统的CRF策略通常在单一分辨率下工作,而微帧的Per-Title通过分析每个分辨率下的画面质量与码率之间的关系,自动调整CRF值及最优码率,使视频在不同分辨率下都能展现出色的质量和编码效率。

微帧的Per-Title技术通过优化编码算法、并行处理技术以及智能任务调度,大幅度提升了其处理速度;这样多维度、多层次的深度优化,提升了视频编码效率和输出质量,不仅在分辨率和码率的选择上更加智能化,还实现了更为精确的编码控制,确保用户在任何设备、任何网络条件下都能获得最佳的视觉效果。

当然,除了Per-Title技术,微帧也优化了多项前沿视频编码技术,如ROI(感兴趣区域)保护算法、智能AI前处理、基于内容的CAE感知编码等等......微帧在视频编码技术的不断探索与研究优化,体现了对极致画质及高效传输的不懈追求,始终秉持着精益求精的态度,致力于为用户提供更极致、更高质量的视频观看体验。

相关文章
|
2月前
|
编解码
视频分辨率和帧率
【10月更文挑战第7天】视频分辨率和帧率
|
4月前
|
编解码 监控 Android开发
视频码率、分辨率、帧率的关系
视频码率、分辨率、帧率的关系
163 0
|
7月前
|
机器学习/深度学习 编解码
SRGAN超分辨率网络
SRGAN超分辨率网络
81 0
|
编解码 C++
基于Live555实现RtspServer及高清高分辨率和高码率视频传输优化
基于Live555实现RtspServer及高清高分辨率和高码率视频传输优化
506 0
|
机器学习/深度学习 编解码 算法
Stable Diffsuion还能用来压缩图像?压缩率更高,清晰度超越JPEG等算法
Stable Diffsuion还能用来压缩图像?压缩率更高,清晰度超越JPEG等算法
215 0
|
编解码 前端开发 数据可视化
前端各种分辨率问题总结
前端各种分辨率问题总结
|
编解码
流媒体技术学习笔记之(五)码流、码率、采样率、比特率、帧速率、分辨率、高清视频的概念
码流、码率、采样率、比特率、帧速率、分辨率、高清视频的概念   高清视频主要编码   480P格式:720x480  720P格式:1280x720 【表现体育节目、快速运动的视频时,720P更明显】 1080P格式:1920x1080 【适合普通电视节目、电影等慢速运动的视频时,1080P更明显】 1、码流(码率)           码流(Data Rate)是指视频文件在单位时间内使用的数据流量,也叫码率或码流率,通俗一点的理解就是取样率,是视频编码中画面质量控制中最重要的部分,一般我们用的单位是kb/s或者Mb/s。
4826 0
|
编解码
指定分辨率,如何从相机分辨率中选择最合适的?
指定分辨率,如何从相机分辨率中选择最合适的?
154 0
|
机器学习/深度学习 存储 编解码
基于内容的自适应视频传输算法及其应用
本文内容来自LiveVideoStack线上分享第四季第二期,由湖北经济学院副教授,胡胜红博士为大家介绍如何基于内容分析技术,从用户需求角度标注视频流重要性级别,构建自适应流传输策略,实现语义级QoE优化目标。
614 0
基于内容的自适应视频传输算法及其应用
|
编解码 算法 网络架构
Netflix:通过自适应音频码率提升音频体验
自适应音频码率可以提升用户的主观体验,并且不会降低视频观看体验。本文来自Netflix科技博客,详细阐述了自适应音频带来的好处以及如何处理各种难点。
589 0
Netflix:通过自适应音频码率提升音频体验

热门文章

最新文章