0代码体验效果，1行实现推理，10行搞定调优！101个CV模型集体开源（1）

【新智元导读】11 月 3 日，在 2022 云栖大会上，阿里达摩院联手 CCF 开源发展委员会共同推出了 AI 模型社区「魔搭」ModelScope。本文，阿里达摩院开放视觉智能负责人谢宣松，深入解析了魔搭社区里首批开源的 101 个视觉 AI 模型。

 

计算机视觉是人工智能的基石，也是应用最广泛的 AI 技术，从日常手机解锁使用的人脸识别，再到火热的产业前沿自动驾驶，视觉 AI 都大显身手。

作为一名视觉 AI 研究者，我认为视觉 AI 的潜能远未得到充分发挥，穷尽我们这些研究者的力量，也只能覆盖少数行业和场景，远未能满足全社会的需求。

因此，在 AI 模型社区魔搭 ModelScope 上，我们决定全面开源达摩院研发的视觉 AI 模型，首批达 101 个，其中多数为 SOTA 或经过实践检验。我们希望让更多开发者来使用视觉 AI，更期待 AI 能成为人类社会前进的动力之一。

魔搭社区地址：modelscope.cn

背景

AI 模型较为复杂，尤其是要应用于行业场景，往往需要重新训练，这使得 AI 只掌握在少数算法人员手中，难以走向大众化。而新推出的魔搭社区 ModelScope，践行模型即服务的新理念（Model as a Service），提供众多预训练基础模型，只需针对具体场景再稍作调优，就能快速投入使用。

达摩院率先向魔搭社区贡献 300 多个经过验证的优质 AI 模型，超过 1/3 为中文模型，全面开源开放，并且把模型变为直接可用的服务。

社区首批开源模型包括视觉、语音、自然语言处理、多模态等 AI 主要方向，并向 AI for Science 等新领域积极探索，覆盖的主流任务超过 60 个。

模型均经过专家筛选和效果验证，包括 150 多个 SOTA（业界领先）模型和 10 多个大模型，全面开源且开放使用。

概要：以人为中心的视觉 AI

这些年来，达摩院作为阿里巴巴的基础科研机构和人才高地，在阿里海量业务场景中研发出一批优秀的视觉 AI 能力，分布在各个环节：

这些视觉 AI 技术，几乎覆盖了从理解到生成等各方面。因视觉技术任务众多，我们需要有一个相对合理的分类方法，可以从模态、对象、功能、场景等几个维度来分：

魔搭社区首批开放了主要的视觉任务模型，这些模型即有学术创新的 SOTA 技术，也有久经考验的实战模型，从「功能 / 任务」的维度上，涵盖了常见的感知、理解、生产等大类：

虽然视觉技术有点庞杂，但其实有个核心，那就是研究「对象」，「人」一直以来都是最重要的「对象」。「以人为中心」的视觉 AI 技术，也是研究最早最深、使用最普遍的技术。

我们以一个人的照片作为起点。

AI 首先需要理解这个照片 / 图像，如识别这个照片是谁，有什么动作，能否抠出像等。

然后，我们还需要进一步探索：照片质量如何，能否画质变得更好，其中的人能否变得更漂亮，甚至变成卡通人、数字人等...  

如上的 7 个「人」相关的流程，基本涵盖了视觉任务中的「理解」、「增强」、「编辑」等大类，我们以魔搭社区已开放的相关模型为实例，来分享以人为中心的视觉技术的特点、优点、示例以及应用。

感知理解类模型

1. 从照片抠出人像

模型名：BSHM 人像抠图

体验链接：https://www.modelscope.cn/models/damo/cv_unet_image-matting/

从照片抠出人像，去掉背景，是一个非常普遍的需求，也是「PS」的基本操作之一，但传统人工操作费时费力、且效果不佳。

魔搭提供的人像抠图模型，是一个 全自动、端到端的人像抠图模型，能够实现发丝级别的精细分割。

技术上我们也进行了创新，不同于其他模型基于大量精细标注数据训练的方法，我们的模型使用粗标注数据就能实现精细抠图，对数据要求低、精度高。具体来说，模型框架分为三部分：粗 mask 估计网络（MPN）、质量统一化网络（QUN）、以及精确 alpha matte 估计网络（MRN）。

我们首先将复杂问题拆解，先粗分割（MPN）再精细化分割（MRN）。

学术界有大量易获取的粗分割数据，但是粗分割数据和精分割数据不一致导致预期 GAP 很大，故而我们又设计了质量统一化网络（QUN）。

MPN 的用途是估计粗语义信息（粗 mask），使用粗标注数据和精标注数据一起训练。

QUN 是质量统一化网络，用以规范粗 mask 质量，QUN 可以统一 MPN 输出的粗 mask 质量。

MRN 网络输入原图和经过 QUN 规范化后的粗 mask，估计精确的 alpha matte，使用精确标注数据训练。

当然，抠图分割相关的需求非常多样化，我们也上线了一系列模型，支持非人像抠图以及视频抠图等。

开发者可以直接拿来即用，如进行辅助设计师抠图，一键抠图，大幅提升设计效率，或者自由换背景，可实现会议虚拟背景、证件照、穿越等效果。这些也在阿里自有产品（如钉钉视频会议）及云上客户广泛使用。

2. 检测并识别是谁

模型名：MogFace 人脸检测

体验链接：https://www.modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/  

人脸检测和识别是一个 AI 经典任务，也是应用最广泛的视觉技术之一；从另一方面看，其对效果和性价比要求非常苛刻。

我们自研的 MogFace 为当前 SOTA 的人脸检测方法，已在 Wider Face 六项榜单上霸榜一年半以上，具体技术论文发表于 CVPR2022，主要贡献是从 label assignment, scale-level data augmentation and reduce false alarms 三个角度改进人脸检测器。

技术上的特点有：

• Scale-level Data Augmentation (SSE)：SSE 是第一个从 maximize pyramid layer 表征的角度来控制数据集中 gt 的尺度分布，而不是 intuitive 的假想检测器的学习能力，因此在不同场景下都很鲁棒；
  
• Adaptive Online Anchor Mining Strategy(Ali-AMS)：减少对超参的依赖， 简单且有效的 adpative label assign 方法；
  
• Hierarchical Context-aware Module (HCAM)：减少误检是真实世界人脸检测器面对的最大挑战，HCAM 是最近几年第一次在算法侧给出 solid solution。
  

人脸检测作为人脸相关的基础能力，可应用于人脸相册 / 人脸编辑 / 人脸比对等场景。

由于人脸相关的模型使用非常广泛，我们也有系列模型的迭代计划，包括 MogFace 中所介绍的技术点除了 HCAM 均无需引入额外的计算量，后续准备打造 SOTA 的 family-based 人脸检测模型；以及真实世界的人脸检测器除了面对减少误检的问题，还面对如何增加人脸检出率的问题，以及他们之间如何平衡的问题，我们正在进一步探索。

3. 人体关键点及动作识别

模型名字：HRNet 人体关键点 -2D

体验链接：https://www.modelscope.cn/models/damo/cv_hrnetv2w32_body-2d-keypoints_image/

该任务采用自顶向下的人体关键点检测框架，通过端对端的快速推理可以得到图像中的 15 点人体关键点。

其中人体关键点模型基于 HRNet 改进的 backbone，充分利用多分辨率的特征较好地支持日常人体姿态，在 COCO 数据集的 AP 和 AR50 上取得更高精度。

同时我们也针对体育健身场景做了优化，尤其是在瑜伽、健身等场景下多遮挡、非常见、多卧姿等姿态上具有 SOTA 的检测精度。

为了更好的适用于各种场景，我们持续进行优化：

• 针对通用场景的大模型在指标上达到 SOTA 性能；
  
• 针对移动端部署的小模型，内存占用小，运行快、性能稳定，在千元机上达到 25～30FPS；
  
• 针对瑜伽、跳绳技术、仰卧起坐、俯卧撑、高抬腿等体育健身计数和打分场景下多遮挡、非常见、多卧姿姿态等情况做了深度优化，提升算法精度和准确度。
  

本模型已经广泛应用于 AI 体育健身、体育测试场景，如阿里体育乐动力，钉钉运动，健身镜等，也可应用于 3D 关键点检测和 3D 人体重建等场景。

4. 小结

上述三个「人」相关的模型，都属于感知理解这个大类。先认识世界，再改造世界，感知理解类视觉技术是最基础、也是应用最广泛的模型大类，也可以分为识别、检测和分割三小类：

• 识别 / 分类是视觉（包括图像、视频等）技术中最基础也是最经典的任务，也是生物通过眼睛了解世界最基本的能力。简单来说，判定一组图像数据中是否包含某个特定的物体，图像特征或运动状态，知道图像视频中描述的对象和内容是什么。此外，还需要了解一些更细维度的信息，或者非实体对象的一些描述标签。
  
• 目标检测的任务是找出视觉内容中感兴趣的目标（物体），确定它们的位置和大小，也是机器视觉领域的核心问题之一。一般来说，也会同时对定位到的目标进行分类识别。
  
• 分割是视觉任务中又一个核心任务，相对于识别检测，它又更进一步，解决「每一个像素属于哪个目标物或场景」的问题。是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。
  

魔搭社区上面开放了丰富的感知理解类模型，供 AI 开发者试用使用：