4、实验
4.1 消融实验
1、组件分析
- Anchor Loss
实现给学生基线带来了2.31 AP提升，而直接像素-像素匹配仅达到1.42 AP。这意味着当密集的像素负责预测任务时，有必要总结所有像素之间的分类信息，而不是模拟全局特征图。通过对的蒸馏，大型特征图中的信息以一种不平衡的方式避免了蒸馏，因为它集中在类别Anchor 上。
- Distance Loss
距离损失比基线高出约1.05 AP，这意味着在密集的检测器中，像素之间的相关性对形成密集的拓扑空间很重要。没有建模密集关系，而是限制了像素本身与学生和教师的每个类别Anchor 之间的距离，这使学生更好地正则化。
- Location Distribution Alignment
添加可以将FCOS-ResNet50提高到42.52 AP。它确实有助于对齐学生和教师的定位信息，这表明边界框层中的像素符合一种分布。此外，在边界框层上应用L2损失对性能没有好处，这表明匹配边界框层中的分布比直接的像素-像素蒸馏更有效。
2、超参数灵敏度
- Loss penalty coefficients
测试了等式中3个损失惩罚系数、和的敏感性(4)（详见图5）。结果表明，这些系数在较大范围内具有鲁棒性，验证了该方法的稳定性。
- Temperatures 测试了方程式中KLD损失的logit温度和。其结果如表6所示。该性能在0.01和5.0的范围内非常稳健。
4.2 主要实验
4.3 Faster RCNN与Cascade R-CNN
4.4 Mask RCNN与SOLOv2
5 局限与总结
5.1 局限
一般的限制在于提炼的本质，教师模型不可避免地需要将其知识传递给学生模型。虽然蒸馏主要是针对小的学生模型，但对于大的学生模型很难找到合适的教师模型。
5.2 总结
在本文中提出了用于目标探测器的SEA（SEmantic-Aware Alignment）蒸馏方法。为了弥合单阶段和两阶段检测器蒸馏之间的差距，SEA将每个像素作为实例，设计类别Anchor来总结场景图像中的分类信息，处理密集像素中的剧烈不平衡。在此基础上，对语义关系进行建模，并对其进行稀疏化，使蒸馏更加结构化和完整。此外，还有效地对齐了学生和教师之间的未被充分研究的边界框分支中的定位分布。大量的实验证明了SEA方法在目标检测和实例分割蒸馏任务方面的有效性和鲁棒性。
6、参考文献
[1]. SEA: Bridging the Gap Between One- and Two-stage Detector Distillation via SEmantic-aware Alignment.
7、推荐阅读
书童改进 | YOLOv5之架构改进、样本匹配升级、量化部署、剪枝、自蒸馏以及异构蒸馏
