4. 实验

4.1 消融实验

当水平注意力和垂直注意力结合时得到了最好的结果，如表1所示。实验结果表明，Coordinate Information Embedding在图像分类中，可以在保证参数量的情况下提升精度。

4.2 与其他Attention进行比较

可以看出，添加SE attention已经使分类性能提高了1%以上。对于CBAM与SE注意相比，似乎在Mobile Network中没有提升。然而，当使用本文所提出的CA注意力时，取得了最好的结果。

在上图中，作者还将使用不同注意力方法的模型生成的特征图进行了可视化。显然，CA注意力比SE和CBAM更有助于目标的定位。

4.3 Stronger Baseline

为了检验所提CA注意力在EfficientNet上的表现，作者简单地用CA注意力代替SE。对于其他设置遵循原始文件。结果如表5。与原有的含SE的EfficientNet-b0方法以及其他与EfficientNet-b0的方法相比，CA注意力络获得了最好的结果。这也所提出的CA注意力在强大的Mobile Network中仍然具有良好的性能。

4.4 目标检测实验

作者通过实验观察到SE和CBAM并不能改善Baseline的性能。然而，增加CA注意力可以很大程度上提高平均AP从71.7%到73.1%。在COCO和Pascal VOC数据集上的检测实验都表明，与其他注意力方法相比，具有CA注意力的分类模型具有更好的迁移能力。

4.5 语义分割实验

从表8可以看出，具有CA注意力的模型比vanilla MobileNetV2使用其他注意力的模型的表现要好得多。

5 参考

[1].Coordinate Attention for Efficient Mobile Network Design

6 推荐阅读

知识干货 | GAN的原理和数学推导

全领域涨点 | Transformer携Evolving Attention在CV与NLP领域全面涨点(文末送书)

Backbone | 谷歌提出LambdaNetworks：无需注意力让网络更快更强(文末获取论文源码)

简单涨点 | Flow-Mixup: 对含有损坏标签的多标签医学图像进行分类(优于Mixup和Maniflod Mixup)

Transformer系列 | 更深、更强、更轻巧的Transformer，DeLighT(文末获取论文与源码)

泛化神器 | 李沐老师新作进一步提升模型在多域多的泛化性，CV和NLP均有大幅度提升(文末获取论文)