前言
YOLACT是经典的单阶段、实时、实例分割方法，在YOLOv5和YOLOv8中的实例分割，也是基于 YOLACT实现的，有必要理解一下它的模型结构和设计思路。
论文：YOLACT: Real-time Instance Segmentation
开源地址：https://github.com/dbolya/yolact
YOLACT(You Only Look At CoefficienTs)
一、模型框架
它对于one-stage 单阶段模型，添加了一个mask分支（与检测分支并行），整体模型结构如下图，流程思路：
1、输入图片；
2、通过主干网络对图片，进行特征提取；
3、经过FPN特征金字塔，对不同尺寸的特征图进行融合；
4.1、检测分支，对于每个目标物体，都输出类别、边框信息（x,y,w,h）、k个mask Coefficients（mask的的置信度，取值1或-1）；
4.2、分割分支，针对当前输入图片，输出k个Prototype（mask原型图）；不同图片，输出的Prototype有差异，但数量也是k个。
5、对于每个目标物体，将k个mask Coefficients（mask的的置信度）与k个Prototype（mask原型图）进行相乘，然后将所有结果相加，得到该目标物体的实例分割结果。
二、YOLACT 主要特点
YOLACT 主要特点是将实例分割任务，划分为两个并行任务：
- 将实例分割任务，划分为两个并行任务；（目标检测Detect、实例分割mask 是并行计算的，这样设计的网络是单阶段的，适合YOLO系列，速度快）
- 在实例分割分支生成k个mask原型图（prototype masks），检测分支生成k个mask原型图的置信度（mask coefficients），然后将mask原型图与mask原型置信度进行线性组合，生成实例分割结果。
- 比如在一张街道场景的图片，图中有行人、车辆、建筑物、树木等，当检测分支框中的是行人，那么行人相关的mask原型图置信度高（头、身体、手、脚、随身物品等的位置、轮廓、编码位置敏感的方向等原型图），其它的类别mask原型图置信度低，这样组合形成实例分割的结果。
这里重点讲一下prototype masks
【1】YOLACT 实际上是学习了一种分布表示，在一张图片中可能有多个类别，但不同类别之间的物体共享 prototypes 的组合
在 prototype 空间
- 某些 prototypes 对图片空间分块，
- 某些 prototypes 定位实例，
- 某些 prototypes 检测实例廓形，
- 某些 prototypes 编码位置敏感的方向图(position-sensitive directional maps)等等，
- 这些 prototypes 的组合构成了最终的分割结果.
【2】每一个prototype mask是生成的相对于整张图片的，不是局部的
如下图所示，生成的prototype mask是对于整张图片的；
【3】prototype masks 的数量与物体类别无关(如，类别数量可能多于 prototypes 的数量)；
YOLACT 是针对每张图片学习 prototypes，即：不同图片生成的prototypes会有差异；
区别于对整个数据集所学习的全局共享的 prototypes.
比如在 BoF(Bag of Feature) 中，是对整个数据集所学习的全局共享的 prototypes.
BOF 是一种图像特征提取方法，其实际上起源于文本领域的 BoW(Bag of Words) 模型. BoW 假定对于一个文本而言，忽略其词序、语法、句法等，仅看作是一个个词语的组合，每个词的出现都是相互独立的，不依赖于其它词的出现.
BOF 假设图像相当于一个文本，图像中的不同局部区域或特征可以看作是构成图像的词汇(codebook). 如图：
根据得到的图像的词汇，统计每个单词的频次，即可得到图片的特征向量，如图：
YOLACT 是针对每张图片学习 prototypes，而 BOFs 是对整个数据集所学习的全局共享的 prototypes.
参考：https://www.aiuai.cn/aifarm1190.html
三、模型组件结构
3.1 目标检测 分支
通常的YOLO系列目标检测器包含两个预测输出分支
- 一个分支，预测 c 个类别置信度
- 另一个分支，预测 4 个边界框回归值
对于YOLACT模型，添加一个分支，来预测k个mask Coefficients（mask的的置信度，取值1或-1）每个 coefficient 分别对应一个 prototype
这样“目标检测”分支，预测的信息包括：类别、边框信息（x,y,w,h）、k个mask Coefficients
3.2 实例分割 分支
YOLACT 的 “实例分割”(protonet) 会输出整张图片的 k 个 prototype masks 集合.
首先看看“实例分割”分支中，通过什么操作生成prototype的：
1、“实例分割”分支中，输入是FPN中的P3特征图，该特征图分辨率高，更好保留空间细节信息；同时融合了一定的语义信息。
2、然后对特征图进行上采样，中间没有跳跃连接、特征融合之类的，朴素的FCN结构；（这部分有待改进）。
3、再通过1*1卷积调整特征图的通道数量为k，这样就形成了k个Prototype（mask原型图）
需要注意：这个分支不会计算损失；而且在线性组合后最终的 mask loss，才计算损失。
3.3 Mask 线性组合
对于每个目标物体，将k个mask Coefficients（mask的的置信度）与k个Prototype（mask原型图）进行相乘，然后将所有结果相加，并再接 sigmoid 非线性函数，生成最终的 masks；这样就得到该目标物体的实例分割结果。
其中的计算公式如下：
- P是k个Prototype mask，维度是h*w*k
- C是k个mask Coefficients，维度是n*k，这里n是指检测分支中，预测出n个目标物体了
- 是指sigmoid函数
首先对k个mask Coefficients，进行转至，调整维度为k*n；
然后k个Prototype mask与k个mask Coefficients相乘，h*w*k和k*n，得到维度为h*w*n的特征图
最后对特征图进行sigmoid处理，这样就得到n目标物体的实例分割结果了
四、损失函数
模型主要由物体类别损失、边框回归损失、mask分类损失，三部分组成模型损失函数。
物体类别损失 采用二分类交叉熵损失（BCE），判断物体类别；因为输出特征图，c个类别，对应有c个通道；每个通道的特征图，分别判断类别是否和标签的一样，是或不是，二分类即可。
边框回归损失 采用IOU损失。
其中的mask分类损失，是使用二分类交叉熵损失（BCE）进行计算
一张图片可能有多个物体；对于每个物体，模型生成一张实例分割结果的特征图，我们通过逐个像素判断，该像素是否属于当前的物体，进行计算整张图片的损失情况。
五、模型效果
在 COCO test-dev 数据集，基于单张 Titan Xp 显卡，模型性能对比：
模型效果：
编辑
细节信息对比：
编辑
分享完成~
本文只供大家参考与学习，谢谢~
