【论文速递】ICCV2019 - 基于特征加权和增强的小样本分割
【论文原文】：Feature Weighting and Boosting for Few-Shot Segmentation
【作者信息】：Khoi Nguyen and Sinisa Todorovic
获取地址：https://openaccess.thecvf.com/content_ICCV_2019/papers/Nguyen_Feature_Weighting_and_Boosting_for_Few-Shot_Segmentation_ICCV_2019_paper.pdf
博主关键词： 小样本学习，语义分割，特征加权增强
推荐相关论文：
【论文速递】WACV2023 - 循环相似注意力的小样本医学图像分割 - https://blog.csdn.net/qq_36396104/article/details/128874255
摘要：
本文研究了图像中前景对象的小样本分割。我们在训练图像的小子集上训练CNN，每个子集都模仿few-shot设置。在每个子集中，一张图像作为查询图像，另一张图像作为支持图像，并进行基本真理分割。CNN首先从查询和支持图像中提取特征图。然后，一个类特征向量被计算为支持的特征映射在已知前景的平均值。最后，利用类特征向量与查询的特征映射之间的余弦相似度在查询图像中分割目标对象。 我们通过以下两个方面做出了贡献:(1)提高特征的鉴别性，使其激活在前景上高而在其他地方低;(2)以测试中支持图像分割时产生的损失梯度为指导，由专家集合进行推理。 我们对PASCAL-5 i和COCO-20i数据集的评估表明，我们明显优于现有的方法。
简介：
本文研究了图像中前景对象的小样本分割。如图1所示，只给出几个训练示例(称为支持图像)以及它们对目标对象类的groundtruth分割，我们的目标是在查询图像中分割目标类。这个问题很有挑战性，因为支持图像和查询图像在目标类的实例数量和3D姿态上可能有显著差异，如图1所示。这个重要的问题出现在许多处理目标类的稀缺训练示例的应用程序中。
最近，先前的工作已经解决了这个问题，在few-shot约束下，在一个大型训练集上训练一个对象分割器[26,6,20]。训练集被分成许多小的子集。在每个子集中，一张图像作为查询，另一张图像作为具有已知基本真值的支持图像。如图1所示，他们的框架使用CNN -例如VGG[27]或ResNet[12] -从支持和查询图像中提取特征图。支持的特征图首先集中在已知的真实前景上。然后，使用支持的掩码池特征来估计与查询特征的余弦相似度映射。生成的相似性映射和查询的特征最后传递给几个卷积层，以便在查询中分割目标对象类。将预测值与查询的ground-truth之间的损失用于CNN的训练。
上述框架有两个关键的局限性，我们将在本文中解决这两个问题。首先，我们通过实验发现，CNN倾向于学习不同类别的高激活的非判别特征。 为了解决这个问题，如图2所示，我们的第一个贡献通过有效地估计特征相关性来扩展先前的工作，以鼓励它们的激活在目标类的groundtruth位置内高，而在图像的其他地方低。这被表述为一个优化问题，为此我们推导出一个封闭形式的解。
其次，在前面提到的目标类的巨大变化面前，从很少的支持图像中学习容易对查询进行过拟合和泛化效果差。 为了解决这个问题，如图3所示，我们的第二个贡献是一个新的增强推理，由传统的集成学习方法驱动，该方法对过拟合具有鲁棒性[9,10]。我们指定了一个专家集合，其中每个专家都适应最初从支持图像中提取的特征。这种特征适应是由分割支持图像时相对于其提供的ground truth所引起的损失梯度所指导的。专家集合生成查询图像中相应的对象分割集合，加权平均作为我们的最终预测。重要的是，虽然我们在训练和测试中都使用了第一个贡献，类似于传统的集成学习方法，但我们的第二个贡献仅应用于测试， 以提高基于cnn的分段器的性能。
对于K-shot设置，自然地扩展了这两种贡献，通过联合分析提供的支持图像及其ground-truth来分割查询图像，而不是像之前的工作那样单独处理支持图像。
为了进行评估，我们将之前在基准PASCAL-5 i数据集[26]上的工作进行了比较。我们的结果表明，我们大大超过了目前的技术水平。此外，我们还对更大、更具挑战性的COCO-20i数据集[16]进行评估。据我们所知，我们是第一个在COCO-20i上报告小样本对象分割结果的。
在下面，第2节回顾了以前的工作，第3节指定了我们的两个贡献，第4节描述了我们的实现细节和复杂性，第5节介绍了我们的实验结果。
