即插即用 | 通过自适应聚类Transformer来提升DERT目标检测器的速度(文末附论文下载)（二）

4、实验

4.1、Ablation Study

透过上图可以看出估计误差随着L的增大和r的减小而减小，与前面分析一致。同时，当r大于6时，继续增大r对估计误差和FLOPs影响不大。当r是小于或等于6，继续降低r失败将导致更大的增加而较小的减少错误；因此最终论文选择了r=8来进行实验。

4.2、Final Performance

透过下图可以看出K-mean对于原始DERT的性能损失太大，而本文提出的ACT在L=32是基本可以达到DERT的性能，而基于知识蒸馏的ACT-MTKD在精度和速度上又有了进一步的提升：

从下表可以看出，基于知识蒸馏的ACT在L=32时与原始DERT-DC5相当，但是其GFLOPs比DERT-DC5更低：

4.2、自适应聚类的可视化结果

参考

[1] End-to-End Object Detection with Adaptive Clustering Transformer