达摩院OpenVI-图像MOS评价协助清理“垃圾”照片

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
自定义KV模板,自定义KV模板 500次/账号
简介: 达摩院OpenVI-图像MOS评价协助清理“垃圾”照片

01背景

MOS(Mean Opinion Score)是一种常用的主观质量评价方法,常用于视频、图像等多媒体领域中的质量评价。MOS视觉评价通常是通过让受试者观看视频/图像,对视频的清晰度、锐度、颜色饱和度、运动模糊、噪声等方面进行评价。然而,MOS视觉评价也存在一些局限,例如需要大量的受试者,评估时间较长等。

因此,近年来,研究者们也开始探索使用客观评价方法来替代或补充MOS视觉评价。使用基于深度学习模型进行客观MOS评价相比传统的基于主观评价的方法,有以下一些好处:

a.)高效性:相比于传统的主观评价方法需要大量受试者进行评估,使用深度学习模型可以大大减少评估时间和人力成本,从而提高评估效率。

b.)一致性:深度学习模型可以通过训练来学习人类主观评价的规律和模式,从而使得评估结果更加一致和准确。

c.)可重复性:使用深度学习模型进行评价可以使得评估结果具有可重复性,不会像传统的主观评价方法一样受到个体差异的影响。

d.)适配性好:传统的主观评价方法需要大量人力和时间成本,使得其在实际应用中受到一定限制。而深度学习模型可以在大规模数据集上进行训练,从而可以在更广泛的场景下进行应用。

与传统的有参考评价方法PSNR, SSIM, VMAF等指标相比:

1.)MOS评价不需要参考图,更契合终端用户的使用场景;

2.)传统评价方法仅仅考虑图像像素的差异,而忽略了人类视觉系统对图像质量的感知。而使用深度学习模型进行视觉MOS评价有效考虑到人类主观评价的因素,从而更加准确地衡量图像质量;

总之,使用深度学习模型进行视觉MOS评价可以提高评估效率和准确性,同时也可以使得评估结果具有更好的可重复性和更广泛的应用范围。效果如下图所示:

2方法

客观MOS评价模型的原理是通过收集人类主观评估数据,并对数据进行特征提取和建模,自动分析图像的不同特征,例如对比度、清晰度和色彩饱和度等,并生成一个与人类主观意见相似的MOS分数。

最终将该模型应用于新的图像、视频数据,实现了客观地评估媒体内容质量的目的。应用到终端用户的手机中,可以但不限于自动评价相册中海量图像、视频质量,并挑选其中的高画质内容进行二次创作,或者移除低画质内容以优化存储空间。

3体验

体验网址:

方法1:模型即服务

首先打开notebook,可以通过示例右上角快速体验创建账号申领。或者根据本地环境安装(查看文档中“Python环境配置”部分),等到环境ready后,试跑如下示例代码:

from modelscope.pipelines import pipelinefrom modelscope.utils.constant import Tasksfrom modelscope.outputs import OutputKeys img = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/dogs.jpg'image_quality_assessment_pipeline = pipeline(Tasks.image_quality_assessment_mos, 'damo/cv_resnet_image-quality-assessment-mos_youtubeUGC')result = image_quality_assessment_pipeline(img)[OutputKeys.SCORE]print(result)

这样就完成了模型即服务的AI功能调用了。

方法2:使用在线体验功能

打开模型链接, 按下图所示步骤:

1. 上传图片,将待测图片手动上传。

2. 执行测试,云端推理引擎会对上传图像进行mos预测。

3. 显示结果,最终的结果会显示在框中。结果为浮点数,范围[0, 1]值越大代表图像质量越高。

04应用

除了上述模型外,modelscope社区还上线了包括去噪、超分、调色、上色等多种视频图像修复增强算法。任何低质量的原始视频,都能够在增强修复后变得焕然一新,让你享受到极致高清、饱满、丝滑的视频观看体验。

点击链接:

https://www.modelscope.cn/models?page=1&tasks=vision-editing&type=cv

可体验多种视觉编辑功能。

视觉评价是底层视觉的一部分,能有替代人工高效完成画质评估工作,

05模型传送门

异常帧检测

https://www.modelscope.cn/models/damo/cv_mobilenet-v2_bad-image-detecting/summary

图像画质损伤分析

https://www.modelscope.cn/models/damo/cv_resnet50_image-quality-assessment_degradation/summary

相关文章
|
5月前
|
算法 图形学 计算机视觉
CVPR 2024:合成视频数据集里只有单人数据?M3Act破解人群行为标注难题
【6月更文挑战第12天】CVPR 2024上的M3Act数据集解决了复杂人群行为标注难题,提供多视角、多群体的合成视频数据,助力计算机视觉研究。利用Unity引擎生成高度真实的人类动作和群体活动,促进以人类为中心任务的学习。实验显示,M3Act能提升目标检测等任务性能,降低数据收集成本,并支持3D群体活动的可控生成。尽管面临数据复杂性、偏差和计算资源限制等问题,M3Act为相关研究提供了宝贵资源。[论文链接](https://arxiv.org/abs/2306.16772)
70 4
|
1月前
|
人工智能 安全
要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 4 章:控制温度和 Top-p 采样
要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 4 章:控制温度和 Top-p 采样
|
5月前
|
自然语言处理 安全 数据安全/隐私保护
不影响输出质量还能追踪溯源,大模型无偏水印入选ICLR 2024 Spotlight
【6月更文挑战第7天】研究人员提出了一种无偏水印技术,能在不降低大型语言模型(LLMs)输出质量的情况下实现追踪和归属。此方法被ICLR 2024选为Spotlight论文,保证水印不影响模型性能,保护知识产权,防止滥用。无偏水印的挑战包括设计无损模型质量的实现、有效检测及安全防范措施。[论文链接: https://openreview.net/pdf?id=uWVC5FVidc]
63 2
|
6月前
|
机器学习/深度学习 监控 算法
【传知代码】高速公路车辆速度检测软件-论文复现
该项目是高速公路车辆速度检测软件,融合了无人机、计算机视觉(YOLOv8)和机器学习,用于交通监控和数据收集。它通过无人机航拍获取车辆信息,使用Bytetrack进行跟踪,SG滤波器处理数据,计算速度和加速度,并将数据存储在Excel中。软件包含检测器、跟踪器和注册表组件,可在Pycharm环境中运行。部署时需配置相关依赖,通过主程序`main.py`启动,用户需标定参考距离、ROI和坐标系。随着技术进步,此类系统有望在交通管理中发挥更大作用。参考文献包括YOLOv8和ByteTrack的相关研究。源码和详情见原文链接。
【传知代码】高速公路车辆速度检测软件-论文复现
|
6月前
|
人工智能
姿态识别+康复训练矫正+代码+部署(AI 健身教练来分析深蹲等姿态)-2
姿态识别+康复训练矫正+代码+部署(AI 健身教练来分析深蹲等姿态)-2
|
6月前
|
机器学习/深度学习 人工智能 算法
姿态识别+康复训练矫正+代码+部署(AI 健身教练来分析深蹲等姿态)-1
姿态识别+康复训练矫正+代码+部署(AI 健身教练来分析深蹲等姿态)-1
|
6月前
|
人工智能 算法 TensorFlow
基于AidLux的工业视觉少样本缺陷检测实战
基于AidLux的工业视觉少样本缺陷检测实战
79 0
|
6月前
|
运维 算法 数据处理
|
机器学习/深度学习 存储 人工智能
【OpenVI-视觉评价系列之MOS评价实战篇】手机存储不够用,清理照片太痛苦?MOS评价帮你挑选“垃圾”照片
MOS(Mean Opinion Score)是一种常用的主观质量评价方法,常用于视频、图像等多媒体领域中的质量评价。MOS视觉评价通常是通过让受试者观看视频/图像,对视频的清晰度、锐度、颜色饱和度、运动模糊、噪声等方面进行评价。然而,MOS视觉评价也存在一些局限,例如需要大量的受试者,评估时间较长等。因此,近年来,研究者们也开始探索使用客观评价方法来替代或补充MOS视觉评价。
506 2
【OpenVI-视觉评价系列之MOS评价实战篇】手机存储不够用,清理照片太痛苦?MOS评价帮你挑选“垃圾”照片
|
XML JSON 算法
X光安检图像检测挑战赛3.0(上)
X光安检图像检测挑战赛3.0(上)
359 0
X光安检图像检测挑战赛3.0(上)
下一篇
无影云桌面