【小样本图像分割-1】PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment

最近看SAM分割模型中多次提到了小样本图像的分割，为了能够搞清楚整个研究的思路，现在将小样本图像分割的论文内容做个笔记，用于备用。本次阅读的论文来自ICCV2019的一篇文章，用的是比较传统

文章的地址：论文地址

代码的地址：开源代码

摘要

尽管深度cnn在图像语义分割方面取得了很大的进步，但它们通常需要大量密集标注的图像进行训练，并且难以推广到看不见的对象类别。因此，开发了少量镜头分割，以学习仅从几个注释示例中执行分割。本文从度量学习的角度解决了具有挑战性的少镜头分割问题，并提出了一种新的原型对准网络PANet，以更好地利用支持集的信息。我们的PANet从嵌入空间内的一些支持图像中学习特定于类的原型表示，然后通过将每个像素与学习到的原型进行匹配，对查询图像进行分割。通过非参数度量学习，PANet提供了高质量的原型，这些原型对每个语义类都具有代表性，同时对不同的类具有区别性。此外，PANet还引入了支持和查询之间的原型对齐正则化。这样，PANet充分利用了来自支持的知识，并在少镜头分割上提供了更好的泛化。值得注意的是，我们的模型在PASCAL-5i上的1枪和5枪设置的mIoU得分分别为48.1%和55.7%，比最先进的方法分别高出1.8%和8.6%。

作者提出的方法

首先作者提出的网络结构称为PANET，这里作者的思路是首先利用支持集和查询集进行特征提取提取之后，用查询集的原始图像特征和MASK图像特征去预测查询集图像的mask，然后将查询集的mask作为标签，再去预测支持集的MASK，通过这样的作法，可以保证支持集和查询集的一致性，让网络的泛化性更好。

我们的模型(PANet)的概述，用于少样本分割。PANet首先将支持和查询图像映射到嵌入特征中(分别为圆形和三角形)，并学习每个类的原型(蓝色和黄色实圆)。然后通过将查询的特征与嵌入空间(虚线)内最近的原型匹配来执行查询的分割。PANet在训练过程中进一步引入了原型对齐正则化，通过从查询到支持(右图)反向执行几次分割来对齐嵌入空间中来自支持和查询图像的原型。带有虚线边界的分割掩码表示ground truth注释。

在一个2-way 1-shot示例中说明作者方法的流程。在块(a)中，PANet执行支持查询的少样本分割。支持和查询图像嵌入到深层特征中。然后通过掩模平均池化得到原型。通过计算每个原型与查询特征在每个空间位置的余弦距离(图中cos)来分割查询图像。在分割结果和ground truth mask之间计算Loss Lseg。在块(b)中，提议的PAR通过执行查询到支持的少样本分割和计算LPAR损失来对齐支持和查询的原型。GT表示标签分割掩码。

2-way 1-shot表示的是有两个类，其中每个类只有一个样本。比如上面的图示中，两个类分别是马和人，马和人作在上面的支持集每个类别只有一张图像。然后作者希望做的事情是通过支持集中仅有的一个人和一个马的原始图像和mask作为支持集，通过计算相似度的方式，在查询集中同时分割出人和马。

本方法的一些效果

下面是作者给出的一些效果，从思路上看很新颖，但是从工业落地的角度来说，工业上更讲究的是准确率，这样的准确率我个人认为虽然节省成本，但是还是达不到目前工业的实际应用。

另外作者还给出了一种有趣的实现方式，只通过简单的涂鸦方式的标记和边界框形式的标注也能在分割上表现出良好的性能。

结论

提出了一种基于度量学习的小镜头分割方法。PANet能够从支持集中提取鲁棒原型，并使用非参数距离计算进行分割。利用提出的PAR，我们的模型可以进一步利用支持信息来辅助训练。在没有任何解码器结构或后处理步骤的情况下，我们的PANet大大优于以前的工作。

所以我个人认为，基于SAM模型的基础上继续改进应该可以得到足够经验的效果，在特定的数据集上。