算法具体的实现代码如下:
3.2 Inter-Instance Similarity Modeling
根据上一节得到的、以及,进行跨图像实例的相似性关系建模,框架如下图所示。
由以下 3 部分 loss 构成
- mix-to-origin contrastive objective
- mix-to-mix contrastive objective
- origin-to-origin contrastive objective
其中,表示表征 h 和 z 之间的 cosine 相似度。综上,跨图像实例相似度建模算法可以总结如下:
4. 实验结果
4.1 Image Classification on ImageNet-1K
4.2 Image Classification on CIFAR10 and
4.3 Inter-Instance Similarity Visualization
5. 总结
PatchMix 通过混合不同图像的 Patch,构造了具有多图像实例相似性的对比学习代理任务,以引导模型在对比学习过程中关注不同图像之间潜在的相似性,提高所学习表征在不同图像上的跨实例泛化能力。
在具体的目标函数上,采用 mix-to-origin contrast 构造混合图像和正常图像的相似关系,进一步引入 mix-to-mix contrast 构造更为复杂的样本间相似性关系,并利用 origin-to-origin contrast 消除混合图像在表征上的 gap,提高表征在正常图像上的适配性。
实验上,PatchMix 大幅提升了无监督表征在 ImageNet-1K, CIFAR10, CIFAR100和 COCO 数据集下游任务上的性能,证明了其有效性。