8. 实验结果
1）首先是在 ResNet-50 和 ResNet-101 上的结果，如下表所示，FKD 取得了 80.1%/ResNet-50 和 81.9%/ResNet-101 的精度。同时训练时间相比普通训练和 ReLabel 都快了很多。
2）作者还测试了 FKD 在 MEAL V2 上的结果，同样得到了 80.91% 的结果。
3）Vision Transformer 上的结果：
接下来作者展示了在 vision transformer 上的结果，在不使用额外数据增强的情况下，FKD 就可以比之前知识蒸馏方法得到将近一个点的提升，同时训练速度快了 5 倍以上。
4）Tiny CNNs 上的结果：
5）消融实验：
首先是不同压缩策略，综合考虑存储需求和训练精度，边际平滑策略是最佳的。
接下来是训练阶段不同 crop 数目的对比，MEAL V2 由于使用了 pre-trained 的参数作为初始化权重，因此不同 crop 数目下性能都比较稳定和接近。而 vanilla 和 FKD 在 crop=4 的时候表现得最好。尤其 vanilla，相比 crop=1 精度提升了一个点，crop 大于 8 之后精度下降明显。
6）自监督任务上的结果：
如下表所示，在自监督学习任务上 FKD 方式还是可以很好的学习目标模型，同时相比双子结构自监督网络训练和蒸馏训练，可以加速三到四倍。
9. 下游任务
下表给出了 FKD 模型在 ImageNet ReaL 和 ImageNetV2 两个数据集上的结果，可以看到，FKD 在这些数据集上取得了稳定的提升。
下表是 FKD 预训练模型在 COCO 目标检测任务上的结果，提升同样明显。
10. 可视化分析
如下两张可视化图所示，作者通过可视化中间特征层（attention map）的方式探索 FKD 这种 region-based 训练方式对模型产生的影响，作者对比了三种不同训练方式得到的模型：正常 one-hot label，ReLabel 和本文提出的 FKD。
（i） FKD 的预测的概率值相比 ReLabel 更加小（soft），因为 FKD 训练过程引入的上下文以及背景信息更多。在 FKD 随机 crop 的训练策略中，许多样本采样于背景（上下文）区域，来自 teacher 模型的软预测标签更能真实的反映出实际输入内容，并且这些软标签可能与 one-hot 标签完全不同，FKD 的训练机制可以更好的利用上下文中的额外信息。
（ii） FKD 的特征可视化图在物体区域上具有更大的高响应值区域，这表明 FKD 训练的模型利用了更多区域的线索进行预测，进而捕获更多差异性和细粒度的信息。
（iii）ReLabel 的注意力可视化图与 PyTorch 预训练模型更加接近，而 FKD 的结果跟他们相比具有交大差异性。这说明 FKD 方式学习到的注意力机制跟之前模型有着显著的差别，从这点出发后续可以进一步研究其有效的原因和工作机理。
更多算法细节欢迎阅读其原文和代码。
