4实现
4.1 消融实验
1、Expand ratio of MLP
之前的实验证明了本文的设计原则，即大的模型深度可以弥补每个构件的不足。通常，在模型深度和构建块的复杂性之间存在一种权衡。有了固定的计算预算，轻量级的构建块可以享受更深层次的网络工作架构。
表5
为了进一步研究这种权衡，作者提供了一些具有不同深度的ShiftViT模型。对于ShiftViT，大多数参数存在于MLP部分。作者可以通过改变MLP τ的扩展比来控制模型深度。如表5所示，选择Shift-T作为基线模型。研究了在1到4范围内的扩张比τ。值得注意的是，不同条目的参数和FLOPs几乎是相同的。
从表5中，可以观察到一个趋势，即模型越深入，性能越好。当ShiftViT的深度增加到225时，在分类、检测和分割上分别比57层的分类、检测和分割的绝对增益提高了0.5%、1.2%和2.9%。这种趋势支持了猜想，即强大而沉重的模块，如attention，可能不是Backbone的最佳选择。
2、Percentage of shifted channels
Shift操作只有一个超参数，即移位信道的百分比。缺省情况下，设置为33%。在本节中探讨其他一些设置。具体来说，将移动通道的比例分别设置为20%、25%、33%和50%。结果如图3所示。这表明最终性能对这个超参数不是很敏感。与最佳设置相比，移动25%的通道只会导致0.3%的绝对损失。在合理的范围内(25%-50%)，所有的设置都达到了比Swin-T Baseline更好的精度。
3、Shifted pixels
在Shift操作中，一小部分通道沿4个方向移动一个像素。为了进行全面的探索，还尝试了不同的移动像素。当偏移的像素为0，即没有发生偏移时，ImageNet数据集的Top-1精度仅为72.9%，明显低于本文的Baseline(81.7%)。这并不奇怪，因为没有移动意味着不同的空间位置之间没有相互作用。此外，如果在shift操作中移动两个像素，模型在ImageNet上达到80.2%的top-1精度，这也比默认设置略差。
4、ViT-style training scheme
Shift操作在cnn中已经得到了很好的研究。然而，以往的工作并没有像该工作那样令人印象深刻。Shift-ResNet-50在ImageNet上的准确率仅为75.6%，远低于81.7%的准确率。这一差距引发了一种自然的担忧，即什么对ViT有利。
作者怀疑原因可能在于虚拟现实式的训练计划。具体来说，大多数现有的ViT变体遵循DeiT中的设置，这与训练cnn的标准管道有很大不同。例如，ViT-style方案采用AdamW优化器，在ImageNet上训练时长为300 epoch。相比之下，cnn风格的方案更倾向于SGD优化器，训练计划通常只有90 epoch。由于本文的模型继承了ViT-style训练方案，观察这些差异如何影响性能是很有趣的。
表6
由于资源限制，不能完全对齐所有设置之间的ViT-style和CNN-style。因此，选择了4个认为可以带来启示的重要因素，即优化器、激活函数、规范化层和训练计划。从表6可以看出，这些因素可以显著影响准确性，尤其是训练进度。这些结果表明，ShiftViT良好的性能部分是由ViT-style训练方案带来的。同样，ViT的成功也可能与其特殊的训练计划有关。在今后的ViT研究中应该认真对待这一问题。
4.2 ImageNet and COCO
表2
总的来说，本文的方法可以实现与最先进技术相媲美的性能。对于基于ViT和基于mlp的方法，其最佳性能约为83.5%，而本文的模型达到了83.3%的精度。对于基于CNN的方法，本文的模型略差于但是比较并不完全公平，因为EfficientNet采用更大的输入大小。
另一件有趣的事情是与2个工作S^2-MLP和AS-MLP。这两部分的工作在移Shift操作上有相似的想法，但是它们在构建块中引入了一些辅助模块，例如投影前层和投影后层。在表2中，本文的表现略好于这两项工作。这证明了设计选择，仅仅用一个简单的Shift操作就可以很好的搭建Backbone。
image
除了分类任务外，目标检测任务和语义分割任务也可以观察到相似的性能轨迹。值得注意的是，一些基于ViT和基于mlp的方法不容易扩展到如此密集的预测任务，因为高分辨率的输入产生了难以负担的计算负担。由于Shift操作的高效率，本文的方法不存在这种障碍。
表3
表4
如表3和表4所示，ShiftViT的优势是显而易见的。ShiftT在目标检测上的mAP得分为47.1分，在语义分割上的mIoU得分为47.8分，明显优于其他方法。
5参考
[1].When Shift Operation Meets Vision Transformer:An Extremely Simple Alternative to Attention Mechanism
