微帧科技:综合多项指标评价视频质量,才能更接近主观感受

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,182元/月
MSE Nacos/ZooKeeper 企业版试用,1600元额度,限量50份
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 视频质量评价指标如PSNR、SSIM和VMAF是衡量画面质量的重要工具,但不应成为视频工作者的唯一目标。微帧致力于优化画质,提升观看体验,强调综合评估指标,以实现最接近人眼主观感受的效果。本文探讨了PSNR avg.MSE与PSNR avg.log的区别,以及VMAF的优势与不足。

视频质量评价指标只是衡量画面质量的工具,单项指标的数值或高或低,都不应是视频工作者的最终目的。微帧一直都以提升画质优化观看体验为主要目标,致力于使用最优的质量评价方式,提供最极致的画质效果。

视频流量在整个互联网流量的占比每年都在高速增长,为降低视频存储成本和数据传输通道的负载,视频压缩标准及算法在不断积极开发和改进。视频质量的评估在其中也起着至关重要的作用,尽管已经发展出了大量视频质量评估方法,但普遍接受度最高、最知名的评价方法还是经典的PSNR、SSIM以及VMAF。

本文将浅谈一下这几类评价方法的概念,并将结合微帧在日常实验中所得的经验,重点聊一聊PSNR avg.MSE与PSNR avg.log,谁更胜一筹?以及VMAF的“喜”与“忧”。

PSNR(峰值信噪比)

峰值信号的能量与噪声的平均能量之比,本质的是比较两张图像像素值差异,用途较广,目前仍作为对照其他指标的基线。PSNR的单位是dB,数值越大表示失真越小。
MSE formula - 副本.png

两个m×n单色图像 I 和K, I 为一无噪声的原始图像,K为 I 的噪声近似(例:I 为未压缩的原始图像,K为 I 经过压缩后的图像)。
PSNR公式 - 副本.png

其中,MAX是表示图像点颜色的最大数值,如果每个采样点用 8 位表示(例:影像处理),那么就是 255。

PSNR avg.MSE与PSNR avg.log,谁更胜一筹
PSNR avg.MSE:当聚合整个视频的逐帧分数时,首先计算MSE的算术平均值,然后取对数。
psnr mse.png
PSNR avg.log:当聚合整个视频的逐帧分数时,首先计算每帧的PSNR,然后计算所有视频帧的算术平均值。
psnr log.png

经微帧多次测试表明,相较于PSNR avg.MSE,PSNR avg.log具有一定不合理性,其太过“照顾”质量更高的帧,比如PSNR=99dB和PSNR=50dB的单帧,往往在主观上看不出区别,但通过PSNR avg.log的公式计算后,PSNR=99dB的一帧就会大大拉高最终平均分,在特定序列上容易被trick。
PSNR avg.png

然而,事实上人眼对于质量越差的帧反而越敏感,所谓一锅老鼠屎坏了一锅粥,当观看视频时突然闪现一帧质量差的画面,人眼会对这一帧记忆更为深刻。相较于PSNR avg.log,PSNR avg.MSE就更加关照低质量帧,从这点上更符合主观感受。

SSIM(结构相似性)

一种全参考的图像质量评价指标,分别从亮度、对比度、结构三方面度量图像相似性。SSIM取值范围为[0,1],值越大,表示图像失真越小。
ssim 公式.png

分别是图像中 , 的平均值和方差, 是协方差, 是像素值的动态范围, 和 是常数。

SSIM在衡量编码主观损失方面有其独特的表现。比如,当x264打开AQ(自适应量化技术,关闭AQ时,x264倾向于对低细节度的平滑区域使用过低码率,AQ可以更好地把码率分配到各个宏块中),PSNR和VMAF都会严重掉分,SSIM却能体现出收益。大量实践表明AQ与主观呈正相关,SSIM在这点上更符合主观感受。

VMAF(视频多评估方法融合)

由Netflix推出的视频质量评价工具,用来解决传统指标不能反映多种场景、多种特征的视频情况。该指标是目前互联网视频最主流的客观视频评价指标,适用于衡量大规模环境中流播视频质量的观感。
VMAF.png

VMAF的“喜”与“忧”

“喜” — VMAF的优势

视频画质增强是目前视频爆发时代的刚需应用,它能够更好的提升用户观看体验,然而质量评估常用指标PSNR和SSIM,虽然简单易算,但却不能完全反应人眼主观感受,更无法评价对原画的增强,VMAF却可以做到这一点。
画质增强.png
【左】PSNR=30.87dB,SSIM=0.8725,VMAF=67.44
【右】PSNR=22.5dB,SSIM=0.9168,VMAF=100

通过对比可以发现右图经过画质增强,能展现更多的细节,小字变得更加清晰,同时VMAF也有了较大的提升。

“忧” — VMAF的不足

① VMAF值能够被trick。单纯为了提高VMAF值,而增强对比度,实际是不合理的,虽VMAF值提高了,但画质却并没有真正提升,本末倒置。

下图为例,右边视频仅在左边视频基础上进行了对比度增强的处理,左边VMAF为67.44,右边VMAF为97,可见经过增强对比度,VMAF也提升了不少,但当我们查看细节,会发现画质没有得到根本提升,原有的马赛克、噪点依然存在。
vmaf不足.png

② VMAF在衡量原画损失的能力稍弱,有时不如SSIM与PSNR,甚至适得其反。我们可以做一个简单实验,采用x264 superfast对标准测试序列Johnny做定码率编码,在关闭deblock后(采用了no-deblock选项),PSNR和SSIM出现明显损失,VMAF却取得了增益,如下表所示。(deblock是视频编码一项成熟已久的技术,用来减轻编码造成的马赛克损伤。)
640.png

为了更直观地感受,我们提取实验中的同一码率下的对比帧(下图),可见no-deblock(右图)的VMAF略高于开启deblock(左图)的VMAF,但右图却充满了马赛克。因此,关掉deblock虽然能提升VMAF值,但失真会比较严重。
222.png

同一码率下
【左】开启deblock(deblock),VMAF=82.72
【右】关闭deblock(no-deblock),VMAF=83.13

VMAF虽然有令人担忧的硬伤,但是确实有其独到的一面。譬如上方关闭deblock的右图,虽然马赛克损伤严重,但是左图整体更模糊一些。此外鉴于VMAF能兼顾相对于源的画质增强和画质损伤两部分,在互联网领域使用越来越广泛。

由此可见,在日常评价视频质量时,单看一组指标数据容易产生误差。视频质量评价指标只是衡量画面质量的工具,单项指标的数值或高或低,这都不应是视频工作者的最终目的。微帧一直都以提升画质优化体验为主要目标,倡导大家应当既看VMAF,也要结合PSNR和SSIM,进行综合评估,以达到最接近人眼主观的测评效果。

相关文章
|
10月前
|
算法
客观评价模型与主观DMOS分数拟合的分享与实用性探讨
本文深入探讨了视频质量的主客观评价方法,指出客观评价方法旨在精确描述人眼的主观感受。文章介绍了微帧在日常训练中使用的拟合方法,通过映射函数将客观指标与主观评价DMOS分数进行非线性拟合,以提高评价的准确性、一致性、稳定性和单调性。具体讨论了SSIM、PSNR和VMAF等常见客观指标的拟合公式,并总结了拟合方法在分析质量差异、统一客观指标和指导参数设置方面的实用价值。
|
9月前
|
存储 编解码 算法
微帧WZ-JPEG图片编码压缩技术,实现超高压缩效率
在数字化时代,图像数据爆炸式增长,对传输和存储提出巨大挑战。JPEG作为互联网上最广泛应用的图片格式之一,占据超过60%的市场份额。微帧WZ-JPEG编码压缩技术通过优化DCT变换、量化及熵编码等步骤,实现了显著的压缩效率提升,平均节省27%的图片体积,复杂场景下可达40%,同时编码速度提升4倍,确保了高质量图像的快速加载与传输,极大提升了用户体验。此外,微帧还针对WebP、HEIF和AVIF等格式进行了专门优化,进一步彰显其在图像处理领域的技术优势。
|
存储 云安全 运维
阿里云认证介绍 - 线上考试报名指南(ACA/ACP/ACE)
阿里云认证介绍 - 线上考试报名指南(ACA/ACP/ACE)
|
10月前
|
存储 编解码 算法
视频为什么可以被压缩?帧内压缩与帧间压缩有何区别?视频编码中的CBR、VBR、CRF...是什么?
视频压缩基于冗余,包括空间冗余、时间冗余、视觉冗余和编码冗余。帧内压缩利用空间相关性,帧间压缩利用时间相关性。视频编码中的码率控制方法有CBR(固定码率)、VBR(动态码率)、CRF(固定码率系数)、CQP(固定质量参数)、CVBR(约束可变码率)和ABR(平均码率),各有优缺点,适用于不同的场景。
|
10月前
|
编解码 算法
为什么受损的视频数据通常显示为绿色?为什么很多30帧/秒的视频实际都是29.976帧/秒?
视频编码采用YUV格式因其亮度与色度分离,利于压缩且兼容黑白显示;受损视频常显绿色因YUV转RGB时Y、U、V为0导致;30帧/秒视频实为29.976帧/秒源于NTSC标准适应彩色电视需求;H.264等标准中H无特定含义,H.264又名MPEG-4 AVC,是ITU-T与ISO/IEC MPEG合作成果。
|
11月前
|
编解码 人工智能 自然语言处理
结合微帧编码引擎,从视频编解码角度对Sora浅析
2024年初,OpenAI发布的视频生成模型Sora成为焦点。Sora能生成长达1分钟的高质量视频,标志着生成式AI的重大突破。微帧分析了Sora的视频编码技术,发现其主要使用H.264编码,微帧的编码引擎WZ264和WZ265能显著降低视频码率,提升效率。
|
存储 机器学习/深度学习 SQL
【Prompt Engineering:自我反思(Reflexion)】
自我反思(Reflexion)是一种通过语言反馈强化基于语言的智能体的新范式,无需微调模型即可提升其在决策、推理和编程等任务中的表现。该框架包括参与者(生成动作)、评估者(评分)和自我反思(生成反馈)三个部分,利用大语言模型生成具体反馈,帮助智能体从错误中快速学习,显著提高了多种任务的性能。
1158 2
【Prompt Engineering:自我反思(Reflexion)】
|
10月前
|
存储 编解码 算法
发到朋友圈的图片为什么会变糊?iPhone的live实况图是什么格式的图片?
本文介绍了iPhone Live实况图的格式(.livp)、社交平台图片变糊的原因、图像编码压缩的基本过程(变换、量化、熵编码),以及HEIF格式及其与HEVC的关系。HEIF格式具有体积小、颜色丰富、内容灵活等优势,适用于高效图像存储与传输。
|
10月前
|
编解码 缓存 算法
视频帧里的I帧、P帧、B帧是什么?
I帧、P帧、B帧是视频编码中的基本概念。I帧是帧内编码帧,无需参考其他帧即可解码;P帧是前向预测编码帧,基于前一帧解码;B帧是双向预测编码帧,基于前后帧解码。IDR帧是一种特殊的I帧,用于即时解码刷新,防止错误传播。GOP(Group of Pictures)是一组连续的画面,第一个帧为I帧,gop_size设置越大,画质越好,但解码延迟增加。OpenGOP允许GOP间的帧依赖,而ClosedGOP则不允许。DTS(解码时间戳)和PTS(显示时间戳)分别用于解码和显示时间控制。
|
11月前
|
存储 编解码 算法
视频编码格式和封装格式有什么关系?相机常见的编码格式有哪些?
视频编码格式与封装格式的关系类似于酒与酒瓶的关系。编码格式是视频的核心内容,如H.264、H.265等,而封装格式则是将视频、音频、字幕等集成在一起的外壳,如MP4、MKV等。不同的封装格式适应不同的播放需求,例如MP4兼容性最好,MKV适合网络传播。

热门文章

最新文章