4Mobile-Former的可解释性
为了理解Mobile和Former之间的协作，作者将cross attention形象化在双向桥上(MobileFormer和MobileFormer)（见图4、5、6）。使用ImageNet预训练的MobileFormer-294M，其中包括6个全局token和11个Mobile-Former块。作者观察到3种有趣的现象：
第1点：
lower level token的注意力比higher level token更多样化。如图4所示，每一列对应一个token，每一行对应相应的多头交叉注意中的一个头。注意，在MobileFormer(左半部分)中，注意力是在像素上标准化的，显示每个token的聚焦区域。相比之下，MobileFormer中的注意力是在token上标准化的，比较不同token在每个像素上的贡献。显然，第3和第5区块的6个token在MobileFormer和MobileFormer中都有不同的cross attention模式。在第8块中可以清楚地观察到token之间类似的注意力模式。在第12区块，最后5个token的注意力模式非常相似。注意，第1个token是进入分类器头部的class token。最近关于ViT的研究也发现了类似的现象。
第2点：
全局token的重点区域从低到高级别逐渐变化。图5显示了MobileFormer中第1个token的像素交叉注意力。这个token开始关注局部特性，例如边缘/角(在第2-4块)。然后对像素连通区域进行了更多的关注。有趣的是，聚焦区域在前景(人和马)和背景(草)之间转换。最后，定位识别度最高的区域(马身和马头)进行分类。
第3点：
MobileFormer的中间层(例如第8块)出现了前景和背景的分离。图6显示了特征图中每个像素在6个token上的cross attention。显然，前景和背景被第一个token和最后一个token分开。这表明，一些全局token学习有意义的原型，聚类相似的像素。
局限性
Mobile-Former的主要限制是模型大小。这有2个原因：
首先，由于Mobile，Former和bridge都有各自的参数，因此并行设计在参数共享方面效率不高；虽然Former由于token数量少，计算效率高，但它并不节省参数的数量。
其次，在执行ImageNet分类任务时，Mobile-Former在分类头(2个全连接层)中消耗了很多参数。例如，Mobile-Former-294M在分类头中花费了40% (11.4M中的4.6M)参数。当从图像分类切换到目标检测任务时，由于去掉了分类头，模型大小问题得到了缓解。
5实验
5.1 ImageNet Classification
5.2 Object Detection
6参考
[1].Mobile-Former: Bridging MobileNet and Transformer
