微帧科技:综合多项指标评价视频质量,才能更接近主观感受

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 视频质量评价指标如PSNR、SSIM和VMAF是衡量画面质量的重要工具,但不应成为视频工作者的唯一目标。微帧致力于优化画质,提升观看体验,强调综合评估指标,以实现最接近人眼主观感受的效果。本文探讨了PSNR avg.MSE与PSNR avg.log的区别,以及VMAF的优势与不足。

视频质量评价指标只是衡量画面质量的工具,单项指标的数值或高或低,都不应是视频工作者的最终目的。微帧一直都以提升画质优化观看体验为主要目标,致力于使用最优的质量评价方式,提供最极致的画质效果。

视频流量在整个互联网流量的占比每年都在高速增长,为降低视频存储成本和数据传输通道的负载,视频压缩标准及算法在不断积极开发和改进。视频质量的评估在其中也起着至关重要的作用,尽管已经发展出了大量视频质量评估方法,但普遍接受度最高、最知名的评价方法还是经典的PSNR、SSIM以及VMAF。

本文将浅谈一下这几类评价方法的概念,并将结合微帧在日常实验中所得的经验,重点聊一聊PSNR avg.MSE与PSNR avg.log,谁更胜一筹?以及VMAF的“喜”与“忧”。

PSNR(峰值信噪比)

峰值信号的能量与噪声的平均能量之比,本质的是比较两张图像像素值差异,用途较广,目前仍作为对照其他指标的基线。PSNR的单位是dB,数值越大表示失真越小。
MSE formula - 副本.png

两个m×n单色图像 I 和K, I 为一无噪声的原始图像,K为 I 的噪声近似(例:I 为未压缩的原始图像,K为 I 经过压缩后的图像)。
PSNR公式 - 副本.png

其中,MAX是表示图像点颜色的最大数值,如果每个采样点用 8 位表示(例:影像处理),那么就是 255。

PSNR avg.MSE与PSNR avg.log,谁更胜一筹
PSNR avg.MSE:当聚合整个视频的逐帧分数时,首先计算MSE的算术平均值,然后取对数。
psnr mse.png
PSNR avg.log:当聚合整个视频的逐帧分数时,首先计算每帧的PSNR,然后计算所有视频帧的算术平均值。
psnr log.png

经微帧多次测试表明,相较于PSNR avg.MSE,PSNR avg.log具有一定不合理性,其太过“照顾”质量更高的帧,比如PSNR=99dB和PSNR=50dB的单帧,往往在主观上看不出区别,但通过PSNR avg.log的公式计算后,PSNR=99dB的一帧就会大大拉高最终平均分,在特定序列上容易被trick。
PSNR avg.png

然而,事实上人眼对于质量越差的帧反而越敏感,所谓一锅老鼠屎坏了一锅粥,当观看视频时突然闪现一帧质量差的画面,人眼会对这一帧记忆更为深刻。相较于PSNR avg.log,PSNR avg.MSE就更加关照低质量帧,从这点上更符合主观感受。

SSIM(结构相似性)

一种全参考的图像质量评价指标,分别从亮度、对比度、结构三方面度量图像相似性。SSIM取值范围为[0,1],值越大,表示图像失真越小。
ssim 公式.png

分别是图像中 , 的平均值和方差, 是协方差, 是像素值的动态范围, 和 是常数。

SSIM在衡量编码主观损失方面有其独特的表现。比如,当x264打开AQ(自适应量化技术,关闭AQ时,x264倾向于对低细节度的平滑区域使用过低码率,AQ可以更好地把码率分配到各个宏块中),PSNR和VMAF都会严重掉分,SSIM却能体现出收益。大量实践表明AQ与主观呈正相关,SSIM在这点上更符合主观感受。

VMAF(视频多评估方法融合)

由Netflix推出的视频质量评价工具,用来解决传统指标不能反映多种场景、多种特征的视频情况。该指标是目前互联网视频最主流的客观视频评价指标,适用于衡量大规模环境中流播视频质量的观感。
VMAF.png

VMAF的“喜”与“忧”

“喜” — VMAF的优势

视频画质增强是目前视频爆发时代的刚需应用,它能够更好的提升用户观看体验,然而质量评估常用指标PSNR和SSIM,虽然简单易算,但却不能完全反应人眼主观感受,更无法评价对原画的增强,VMAF却可以做到这一点。
画质增强.png
【左】PSNR=30.87dB,SSIM=0.8725,VMAF=67.44
【右】PSNR=22.5dB,SSIM=0.9168,VMAF=100

通过对比可以发现右图经过画质增强,能展现更多的细节,小字变得更加清晰,同时VMAF也有了较大的提升。

“忧” — VMAF的不足

① VMAF值能够被trick。单纯为了提高VMAF值,而增强对比度,实际是不合理的,虽VMAF值提高了,但画质却并没有真正提升,本末倒置。

下图为例,右边视频仅在左边视频基础上进行了对比度增强的处理,左边VMAF为67.44,右边VMAF为97,可见经过增强对比度,VMAF也提升了不少,但当我们查看细节,会发现画质没有得到根本提升,原有的马赛克、噪点依然存在。
vmaf不足.png

② VMAF在衡量原画损失的能力稍弱,有时不如SSIM与PSNR,甚至适得其反。我们可以做一个简单实验,采用x264 superfast对标准测试序列Johnny做定码率编码,在关闭deblock后(采用了no-deblock选项),PSNR和SSIM出现明显损失,VMAF却取得了增益,如下表所示。(deblock是视频编码一项成熟已久的技术,用来减轻编码造成的马赛克损伤。)
640.png

为了更直观地感受,我们提取实验中的同一码率下的对比帧(下图),可见no-deblock(右图)的VMAF略高于开启deblock(左图)的VMAF,但右图却充满了马赛克。因此,关掉deblock虽然能提升VMAF值,但失真会比较严重。
222.png

同一码率下
【左】开启deblock(deblock),VMAF=82.72
【右】关闭deblock(no-deblock),VMAF=83.13

VMAF虽然有令人担忧的硬伤,但是确实有其独到的一面。譬如上方关闭deblock的右图,虽然马赛克损伤严重,但是左图整体更模糊一些。此外鉴于VMAF能兼顾相对于源的画质增强和画质损伤两部分,在互联网领域使用越来越广泛。

由此可见,在日常评价视频质量时,单看一组指标数据容易产生误差。视频质量评价指标只是衡量画面质量的工具,单项指标的数值或高或低,这都不应是视频工作者的最终目的。微帧一直都以提升画质优化体验为主要目标,倡导大家应当既看VMAF,也要结合PSNR和SSIM,进行综合评估,以达到最接近人眼主观的测评效果。

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
3月前
|
机器学习/深度学习 人工智能
高于临床测试3倍准确率!剑桥大学开发AI模型,提前6年预测阿尔茨海默症
【8月更文挑战第9天】剑桥大学研发的人工智能模型在预测阿尔茨海默症方面取得突破,准确率比传统临床测试高三倍,能提前六年预测疾病发生。该模型基于深度学习,利用大量临床及神经影像数据识别生物标志物,预测准确性达80%。这一成果有望促进早期干预,改善患者预后,但仍需更大规模研究验证,并解决隐私与公平性等问题。论文已发表于《The Lancet》子刊。
54 6
|
4月前
|
机器学习/深度学习 数据采集 算法
告别盲目试错!Scikit-learn助你科学评估模型,精准定位性能瓶颈!
【7月更文挑战第27天】在机器学习项目中, Scikit-learn提供了一套强大的工具来优化模型性能。首先, 利用`StandardScaler`等工具进行数据预处理确保一致性。接着, 选择合适的模型进行训练, 如`RandomForestClassifier`。之后, 采用交叉验证评估模型性能, 减少过拟合风险。最后, 使用`GridSearchCV`等工具精确定位性能瓶颈并优化模型参数。这种方法科学高效, 大幅提升了模型性能, 推动项目成功实施。
42 0
|
6月前
|
数据采集 机器学习/深度学习 自然语言处理
数据更多更好还是质量更高更好?这项研究能帮你做出选择
【5月更文挑战第28天】研究探索了在机器学习中数据质量与规模的权衡,提出质量-数量权衡(QQT)概念和神经网络可扩展定律,考虑数据非同质性、效用衰减及多数据池交互。结果表明预训练时数据质量和规模同等重要,应根据情况权衡。但研究局限于模型预训练、特定类型模型和模拟数据验证。[[链接](https://arxiv.org/pdf/2404.07177.pdf)]
55 1
|
6月前
|
机器学习/深度学习 算法 前端开发
瞄准核心因素:Boruta特征选择算法助力精准决策
瞄准核心因素:Boruta特征选择算法助力精准决策
746 0
|
6月前
|
编解码 人工智能 移动开发
气候变化和人类活动对中国植被固碳的贡献量化数据月度合成产品
气候变化和人类活动对中国植被固碳的贡献量化数据月度合成产品
37 0
基于数据驱动的智能空调系统需求响应可控潜力评估研究(Matlab代码实现)
基于数据驱动的智能空调系统需求响应可控潜力评估研究(Matlab代码实现)
|
移动开发 Python
综合评价法之秩和比法RSR
介绍秩和比法的应用,及其代码实现
1302 0
综合评价法之秩和比法RSR
舆情预测工作解决方案
舆情预测,不仅涉及到舆情的评估,还包括事件的发展趋势分析,其重要性不言而喻,那么具体应该怎么做呢?
舆情预测工作解决方案
|
机器学习/深度学习 数据采集 编解码
AAAI 2019 提前看:融合质量不理想数据
这篇文章笔者想讨论的研究主要跟数据质量相关。此前腾讯 AI Lab 主任张潼返回学术界的消息引起了对于学界和业界之间的鸿沟的思考。
141 0
AAAI 2019 提前看:融合质量不理想数据