实例分割

概述

• 自上而下：首先通过目标检测，再对检测框进行语义分割
• 
  
• 自下而上：首先进行语义分割，再用聚类、度量学习进行实例间的区分
• 
  

简介

双阶段的Mask R-CNN

结构：

基础网络采用ResNet-FPN结构。

利用RoI Align代替ROI pooling。（ROI pooling中有取整操作，这对像素的分类不友好，RoI Align去掉取整，采用双线性插值，获得多个点。）

在原先分类和回归的基础上增加了一个Mask分支，用于语义分割。

缺陷

对框的精度要求高。

对非方正物体不友好。

YOLACT

结构：

• backbone：Resnet101 + FPN
• 
  
• 通过Protonet网络，为每张图片生成K个原型掩模
• 
  
• 通过Prediction Head 预测掩模系数
• 
  
• 通过掩模系数和原型掩模进行线性组合生成实例Mask
• 
  

PolarMask

结构：

backbone + FPN

把fcos的Bbox分支替换为mask分支（channal=36,相当于36根射线的长度）

使用Polar Centerness 替换 fcos中的bbox centerness

优点：

anchor free 和bbox free

全卷积网络

SOLO

结构：

• backbone + FPN
• 
  
• Category Branch：预测物体的语义类别（SXSXC），采用的损失函数是focal loss
• 
  
• Mask Branch：预测物体的mask，采用CoordConv，归一化（x,y）坐标到[-1,1]，然后和输入特征concat。
• 
• CoordConv：在featuremap 后面增加了两个通道，一个用来表示x坐标，一个用来表示y坐标
• 
  

损失函数：

• focal loss
• 
  
• DICE loss
• 
  

实验结果：

RDSNet

结构：

• backbone + FPN
• 
  
• 双流结构：目标流和像素流
• 
  
• 目标辅助实例分割
• 
  
• 掩模辅助目标检测
• 
  

损失函数：

实验结果：

PointRend

特点：

• 资源消耗低
• 
  
• 精确度提高
• 
  
• 抗锯齿
• 
  
• 模块可拓展
• 
  

核心思想：

1. 1.在粗糙的Mask上选取若干个点（一般选取边缘的点，因为边缘的点最容易出错）
2. 
   
3. 2.融合这些点的高层特征和低层特征。
4. 
   
5. 3.经过MLP得到新的预测。

损失函数：

• 交叉熵损失函数
• 
  

实验结果：

BlendMask

结构：

• 检测网络：图中橙色部分，采用的是FCOS
• 
  
• 掩码分支1：图中的BOttom Module，用于预测得分图
• 
  
• 掩码分支2：图中的Boxes Attns，用于预测实例注意力的顶部模块
• 
  
• 掩码分支3：图中的Blender，用于将得分和注意力融合的模块
• 
  

实验结果：

CoCo数据集上的表现