Title: Clustered-patch Element Connection for Few-shot Learning
导读
本文提出了一个用于解决 few-shot 学习中的弱特征表征问题的新方法。研究人员观察到，通过嵌入补丁特征来建立support和query实例之间的联系的方法存在一个问题，即这局部补丁之间存在语义不匹配（前景/背景），因为目标对象的位置和大小不固定。这些不匹配会导致不可靠的相似度置信度，并且复杂的密集连接会加剧这个问题。
为了解决这个问题，本文提出了一种新的Clustered-patch Element Connection, CEC层，利用Patch Cluster和Element Connection操作来分别收集和建立高相似度补丁特征之间的可靠联系，从而纠正不匹配的问题。此外，论文还提出了一个CECNet，包括基于CEC层的注意力模块和距离度量。前者用于利用全局聚类补丁特征生成更具辨别力的表示，后者用于可靠地测量patch对之间的相似度。实验结果表明，所提在分类基准测试中优于最先进的方法，同时还可以扩展到小样本分割和检测任务中，并获得了竞争性的结果。
动机
Comparison between traditional Cross Attention and our Clustered-patch Element Connection
本文的动机是解决few-shot学习中特征表示问题。由于未知类别缺乏有效的特征表示，所以需要一个强大的特征嵌入模型。最近的研究工作大都致力于设计一个嵌入网络来生成更具辨别力的特征。然而，现有的交叉注意力方法仍然存在一些问题，如不一致的语义和不可靠的冗余连接，因为目标对象在查询图像中的位置和大小不固定。
为了解决这些问题，本文提出了一个Clustered-patch Element Connection层，利用Patch Cluster和Element Connection操作来收集和建立高相似度补丁特征之间的可靠联系。这个方法可以在提供更一致的语义特征的同时生成更可靠和简洁的连接。
方法
鉴于原文公式有点冗余且繁琐，本文仅就核心内容简要介绍下。
CEC Module and Self-CEC Module
CEC 模块通过学习一对特征之间的语义相关性来突出共同的相似区域，将输入的一对特征转换为更具区分度的表示。而Self-CEC模块通过自连接增强目标物体的语义特征。此外，Self-CEC 模块通过探索输入图像的补丁之间的关系来增强目标区域。因为作者假设目标的补丁特征是相互类似的，所以该模块可以通过聚类相似区域来增强目标区域。
CECNet Framework
CECNet是一个综合性的框架，用于Few-Shot Learning任务。该框架包括CECM、Metric分类器和Finetune分类器，同时还包含旋转分类器和全局分类器用于辅助任务。
如上图所示，CECNet的训练包括三个阶段：训练、微调和推理。
Base Training
在基础训练阶段中，CECNet使用了旋转数据增强，并将支持集和旋转后的查询实例通过嵌入函数处理为原型特征和查询特征，然后每对特征都通过CECM进行处理，以增强相互相似的区域并生成更具有区分度的特征用于后续的分类。最后，CECNet通过多任务损失进行优化，包括度量分类器和辅助任务。
Novel Fine-tuning
在微调阶段，Fine-tune 分类器由 Self-CECM 和线性层组成。在微调阶段中，预训练的嵌入 被冻结，而 Fine-tune 分类器则使用交叉熵损失进行优化。
Novel Inference
在归纳推理中，CECNet的总体预测结果是 ，其中 Y_{M} 和 Y_{F} 分别是度量分类器和微调分类器的结果。
Metric Classifier
在CECNet中，CEC 层能够生成可靠的关系图，其可以作为相似性图来使用，其均值即为相似度得分。通过提出的 CECD 距离度量，Metric 分类器可以通过衡量查询和 N 个支持类之间的相似性来进行预测。
Fine-tune Classifier
Fine-tune 分类器由 Self-CECM 和一个线性层组成。它使用线性层将查询特征预测为 N 个类别。其损失计算公式如下：
这里的 PCE 是指 patch-wise cross-entropy，即 patch-wise 分类问题中的交叉熵损失函数。 表示小样本分类任务中，样本 在 类别中的真实类别标签。Fine-tune Classifier 的目标是将 query feature 分类到 N 个类别中的一个，因此损失函数是将预测结果与真实标签之间的交叉熵。
实验
<<< 左右滑动见更多 >>>
本文通过引入 Clustered-patch Element Connection 层提出了一种新的 few-shot classification 模型 CECNet，从上述结果可见，该模型在 miniImageNet、tieredImageNet 和 CIFAR-FS 数据集上取得了 SOTA 表现。与现有的度量学习方法相比，CECNet 利用 CECM 和 Self-CECM 模块增强了对象间的语义关联，并获得了更具辨别性的表示。在 WRN-28 backbone 下，CECNet 的精度提高了 2.36%，超过了 DANet。
图4(a)展示了 CECNet 和 CAN 的类激活图对比。通过将 CECNet 与其嵌入进行比较，它显示 CECNet 能够突出显示在预训练阶段看不见的目标对象。与 CAN 相比，本文方法更精确，具有更大的感受野。
图4(b)则显示了由 CECNet 生成的基于 CEC 的关系图可视化。由于聚类补丁的激活，CEC 方法不仅可以产生高质量的关系图，同时具有更完整的目标区域。
总结
本文提出了一种用于小样本分类的新型聚类-补丁元素连接网络CECNet。首先，作者设计了一个聚类-补丁元素连接(CEC)层，通过元素间的连接将查询特征的目标区域加强为聚类-补丁特征。然后，本文继而提出了三个有用的基于 CEC 的模块。其中，CECM 和 Self-CECM 用于生成更具区分度的特征表示，CECD 距离度量获得可靠的相似性图。广泛的实验结果证明所提方法的有效性，并在小样本分类基准测试中取得了最先进的成果。此外，本文的 CEC 方法还可以扩展到 few-shot 分割和检测任务中，并取得了具有竞争力的性能改进。
