一、背景
使用基于深度学习模型进行客观MOS评价相比传统的基于主观评价的方法,有以下一些好处:
1.高效性:相比于传统的主观评价方法需要大量受试者进行评估,使用深度学习模型可以大大减少评估时间和人力成本,从而提高评估效率。
2.一致性:深度学习模型可以通过训练来学习人类主观评价的规律和模式,从而使得评估结果更加一致和准确。
3.可重复性:使用深度学习模型进行评价可以使得评估结果具有可重复性,不会像传统的主观评价方法一样受到个体差异的影响。
4.更广泛的应用:传统的主观评价方法需要大量人力和时间成本,使得其在实际应用中受到一定限制。而深度学习模型可以在大规模数据集上进行训练,从而可以在更广泛的场景下进行应用。
和传统的有参考评价方法PSNR, SSIM, VMAF等指标相比,
a.MOS评价不需要参考图,更契合终端用户的使用场景;
b.传统评价方法仅仅考虑图像像素的差异,而忽略了人类视觉系统对图像质量的感知。而使用深度学习模型进行视觉MOS评价有效考虑到人类主观评价的因素,从而更加准确地衡量图像质量;
总之,使用深度学习模型进行视觉MOS评价可以提高评估效率和准确性,同时也可以使得评估结果具有更好的可重复性和更广泛的应用范围。
二、效果展示
三、技术原理
客观MOS评价模型的原理是通过收集人类主观评估数据,并对数据进行特征提取和建模,自动分析图像的不同特征,例如对比度、清晰度和色彩饱和度等,并生成一个与人类主观意见相似的MOS分数。最终将该模型应用于新的图像、视频数据,实现了客观地评估媒体内容质量的目的。应用到终端用户的手机中,可以但不限于自动评价相册中海量图像、视频质量,并挑选其中的高画质内容进行二次创作,或者移除低画质内容以优化存储空间。
四、方法
方法1:模型即服务
首先打开notebook,可以通过示例右上角快速体验创建账号申领。或者根据本地环境安装(查看文档中“Python环境配置”部分),等到环境ready后,试跑如下示例代码:
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from modelscope.outputs import OutputKeys
img = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/dogs.jpg'
image_quality_assessment_pipeline = pipeline(Tasks.image_quality_assessment_mos, 'damo/cv_resnet_image-quality-assessment-mos_youtubeUGC')
result = image_quality_assessment_pipeline(img)[OutputKeys.SCORE]
print(result)
这样就完成了模型即服务的AI功能调用了
方法2:
视觉智能平台——视频画质评估
打开视频画质评估链接(如上), 按下图所示步骤:
1. 上传视频,将待测视频手动上传。
2. 执行测试,云端推理引擎会对上传视频进行预测。
3. 显示结果,最终的结果会显示在框中。
五、更多应用
除了上述模型外,视觉智能平台还上线了包括去噪、超分、调色、上色等多种视频图像修复增强算法。任何低质量的原始视频,都能够在增强修复后变得焕然一新,让你享受到极致高清、饱满、丝滑的视频观看体验。
点击链接 视觉智能平台——视频生产能力广场 可体验多种视觉编辑功能。