C). 粗粒度的 group 特征学习
为了避免了上述相似的 local-group 分散的过于随机或较远，Mugs 中的 group discrimination supervision 将类似的样本聚集在一起，从而拉近类似的 local-group。这样一来，Mugs 可以在更高语义级别上捕获粗粒度特征。
具体来说，如图一所示，给定
, 老师和学生 backbone 分别输出
。接着 Mugs 把
里面的 class token
分别送进对应的投影网络
。然后，Mugs 构建了一系列的可学习聚类中心
来在线计算伪聚类标签:
其中，
函数是对它的输入进行 sharpening 操作。接下来，类似于监督分类任务，Mugs 使用交叉熵损失，但使用软标签作为训练损失:
D). 整体训练损失函数
最后，该方法将上述三种互补的监督损失函数融合从而形成一个整体的训练损失函数：
其中，超参数
分别代表三种监督权重。在实验中，为了方便，三个超参数都设置为 1/3。
现在讨论这三个监督对特征学习的共同影响。这也将它与现有的粒度特征学习方法，例如 MoCo 和 DINO ，区分开来。如前所述，instance discrimination supervision 就是拉近同一图像的不同增广的样本，从而将不同图像的特征近似地分散 在球面上（如图一第二个球面所示）。它帮助 Mugs 学习 instance-level 的细粒度特征。其次，local-group discrimination supervision 为 instance discrimination supervision 提供补充性监督。它考虑一张图片的 local-group，并鼓励同一张图片的不同增广样本拥有高度相似的邻居。这样一来，local-group supervision 则会将 instance discrimination supervision 中过于分散的实例特征进行高阶语义的重新聚集，也就让相似的样本享有相似的特征。最后，为了避免了上述相似的 local-group 分散的过于随机或较远，Mugs 中的 group discrimination supervision 将类似的样本聚集在一起，从而拉近类似的 local-group。这样一来，Mugs 可以在更高语义级别上捕获粗粒度特征。通过这样互补的多粒度监督学习，Mugs 能够学到更贴合实际应用的特征，从而更加满足于不同下游任务对不同粒度特征的需求。
三：实验结果
Mugs 使用和其他自监督方法同样的数据集和评测方法来验证它的效果。因为 transformer 展现出比 CNN 更强大的潜能（相同规模，transformer 效果会更优，并且它也拥有一统 CV 和 NLP 的潜能），Mugs 同样主要用 transformer 架构来验证。Mugs 仅在 ImageNet 1K 的训练集上预训练，然后在 ImageNet 1K 的训练集上进行 Linear Probing 和 KNN 训练。在这两种最常见的设置下，Mugs 大幅超越已有方法。在没有额外数据训练情况下，Mugs 超过了同样设置下的最好方法 iBoT，从而取得了最新的 SOTA linear probing 精度 82.1%。另外，在 KNN 设置下，Mugs 甚至超越了 ImageNet 1K 和 ImageNet22K 训练的最好方法 iBOT，从而刷新了 KNN 下的 SoTA。具体实验结果可以参看图二和图三。
图二：在 ImageNet-1K 预训练设置下，各种自监督方法的 Linear Probing 精度对比。通过在 ImageNet-1K 上进行预训练，在不同的模型尺寸 (见(a)) 和预训练时间 (见(b)) 下，Mugs 大幅的提高了之前的 SoTA (iBOT)。
图三：在 ImageNet-1K 上 Linear Probing 和 KNN 的精度对比。
另外，在其他的设置下，包括微调网络，半监督学习，迁移学习，物体检测，实例分割，语义分割，视频语义分割等 7 项任务上，Mugs 也超越了同样设置下的 SoTA 方法。具体可参看原文。
最后 Mugs 还展示了一些注意力可视化效果图。从图四可以看出，在没有标签的情况下，Mugs 仍然学到了语义信息。譬如 Mugs 能够很好地检测到物体的形状以及位置。
图四：Mugs 预训练的 ViT-Base/16 上的自注意力可视化
Mugs 还使用 T-SNE 揭示 MoCo-v3、DINO、iBOT 和 Mugs 所学习到的特征之间的差异。在图五中，每种颜色代表一个独特的类。通过对比，针对一个类，Mugs 经常在特征空间中将其划分为几个小簇，例如棕色的 6 个簇，紫色的 4 个簇，红色的 6 个簇，蓝色的 5 个簇，然后将这些小簇分散在一个大的类中。这些结果揭示了该特征中的多粒度结构: 分散的大类（即不同的颜色）对应于粗粒度特征，一个类中几个分散的小簇显示了更小的粗粒度（稍微高级的细粒度）; 每一个小簇中的一些单独实例显示了实例级的细粒度。相比之下，MoCo-v3、DINO 和 iBOT 通常不显示这种多粒度特征结构。正如前文所述，不同下游任务通常需要不同粒度特征甚至多粒度特征。因此，这些可视化也能帮助解释为什么 Mugs 能够超越单粒度特征学习方法。
图五：各种自监督学习预训练的 ViT-Base/16 上的 T-SNE 可视化 T-SNE。
参考文献
[1] Zhou, P., and Zhou, Y., and Si, C., and Yu, W., and Ng, T., and Yan, S., : Mugs: A Multi-Granular Self-Supervised Learning Framework. arXiv preprint arXiv: 2203.14415 (2022)[2] Chen, X., Xie, S., He, K.: An empirical study of training self-supervised vision transformers. arXiv preprint arXiv:2104.02057 (2021)[3] Caron, M., Touvron, H., Misra, I., J ́egou, H., Mairal, J., Bojanowski, P., Joulin, A.: Emerging properties in self-supervised vision transformers. arXiv preprint arXiv:2104.14294 (2021)[4] Caron, M., Bojanowski, P., Joulin, A., Douze, M.: Deep clustering for unsupervised learning of visual features. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 132–149 (2018)[5] Zhou, J., Wei, C., Wang, H., Shen, W., Xie, C., Yuille, A., Kong, T.: iBOT: Image bert pre-training with online tokenizer. arXiv preprint arXiv:2111.07832 (2021)
