带你读《2022技术人的百宝黑皮书》——淘宝直播端到端音视频评测方案首次公开(3) https://developer.aliyun.com/article/1243281?groupCode=taobaotech
无参考评价
在直播场景应用过程中绝大多数为实景拍摄，在无侵入改造的条件下实际上很难获取无损的源视频。因此，无参考评价具有更广泛的适用性，无参考方法无需参考视频，根据视频的自身特征来估算视频的质量。一般常用的传统的客观评价可以用梯度、信息熵、QP等算法，其优点是适应性强，对于任意内容视频也有较高的准确度，缺点是评价维度比较单一。例如QP考虑块效应，信息熵反馈信息复杂程度但对噪声比较敏感，梯度计算相邻元素梯度变化，使用不同算子对不同失真类型敏感度程度不同，都有一定的局限性。
淘宝音视频评测平台接入了多种梯度计算算法，经过多个版本测试，发现在实验条件相对固定（拍摄内容和光源）的情况下，梯度算法和信息熵等评测数值，比较符合主观对于不同端侧清晰度排序的结果。因客观数值能更好的描
述图片之间细小的差别，对于清晰度的评价还是有很强的参考意义。
但是，线上直播内容场景众多。淘宝音视频团队将不同编码参数应用于不同视频内容，对重点关注区域做了画质增强。如美妆类关注人脸，服饰类关注色差和纹理，玉石类关注亮度等。现实中每个人对噪声、纹理、色彩、亮度、流畅度等体感是不一样的，综上全参考评价算法或梯度等无参考算法应用上都有一定的适用范围，而目前在无参考评价算法领域，还缺乏类似于有参考评测PSNR,SSIM,VMAF等具备公信力的指标算法。
目前学术界主流的无参考评价算法，是使用深度学习来预测视频的主观质量。淘宝音视频团队自研视频画质评价算法MD-VQA，同时考虑了语义特征和失真特征，通过多层语义信息以及相邻帧语义信息的差异来表征视频语义信息的退化情况。失真特征则考虑了清晰度、噪声、块效应、过曝/欠曝和彩度五个质量相关的不同维度的失真指标，作为视频语义特征的补充。二者结合来评价视频的整体失真情况。目前音视频评测平台已接入MD-VQA算法，结合主观评测及月度版本评测持续观测算法效果。
带你读《2022技术人的百宝黑皮书》——淘宝直播端到端音视频评测方案首次公开(5) https://developer.aliyun.com/article/1243279?groupCode=taobaotech
