4实验
4.1 消融实验
1、Efficient Components
如上所述，SepViT采用了条件位置编码(CPE)和重叠贴片嵌入(OPE)。因此，以Swin-T+CPVT为baseline，并产生带有CPE但不带OPE的SepViT-T，以消除其他因素的影响。
如表6所示，每个组件依次添加以验证它们的作用，SepViT-T简单地配备了DSSA比Swin+CPVT强0.5%，它比755张图像/s的吞吐量快得多。同时，带有CPE、OPE和DSSA的SepViT-T达到了82.0%的top-1准确率。在第二阶段和第三阶段交替使用GSA和DSSA后，准确率提高了0.3%。
2、Window Token Embedding
进一步研究了用固定的零向量或可学习向量初始化Window Token是否会有影响。与固定的零初始化方案相比，可学习的Window Token帮助SepViT-T将性能提高到82.5%，如表6的最后一行所示。
此外，验证学习的有效性的全局表示每个Window Token Embedding方案，进一步研究其他一些方法的全局表示直接从DWA的输出特性图，如平均池（平均池）和深度卷积(DWConv)。
结果如表7所示，Window Token Embedding方案在这些方法中取得了最好的性能。同时，通过对Win token和Avg池化方法的参数和流量的比较，发现Window Token Embedding方案的计算成本可以忽略不计。
3、与Lite模型的比较
为了进一步探索SepViT的潜力，将SepViT缩小到一个精简版的模型尺寸(SepViT-Lite)。正如在表8中观察到的，SepViT-Lite获得了一个极好的最高精度，为72.3%，优于类似模型尺寸的同类算法。
4.2 图像分类
4.3 目标检测
4.4 语义分割
4.5 实例分割
5参考
[1].SepViT: Separable Vision Transformer
