4实验结果
4.1 ImageNet-1K
图4.1 Light-CNNs参数对比
图4.2 Light-CNNs精度对比
图4.3 CNNs精度对比
图4.1显示了MobileViT在不同网络规模(MobileNetv1、MobileNetv2、ShuffleNetv2、ESPNetv2和MobileNetv3)上的性能优于轻量级CNN。例如，对于一个大约有250万个参数的模型(图4.2)，在ImageNet-1k验证集上，MobileViT比MobileNetv2、ShuffleNetv2和MobileNetv3的性能分别高出5.0%、5.4%和7.4%。
图4.3进一步显示，MobileViT提供了比Heavy-weight CNN(ResNet, DenseNet, ResNet-se和EfficientNet)更好的性能。例如，对于相同数量的参数，MobileViT比effentnet的准确率高出2.1%。
图4.4 ViTs参数对比
图4.5 ViTs精度对比
图4.4比较了MobileViT和在ImageNet-1k数据集上从头开始训练的ViT变体(DeIT、T2T、PVT、CAIT、DeepViT、CeiT、CrossViT、LocalViT、PiT、ConViT、ViL、BoTNet和Mobile-former)。
不像ViT变体，显著受益于高级的数据增强(例如，PiT w/ basic vs. advanced: 72.4%(R4) vs. 78.1%(R17);图4.5)， MobileViT通过更少的参数和基本的增强实现了更好的性能。例如，MobileViT比DeiT小2.5，好2.6%。
总的来说，这些结果表明，与CNN相似，MobileViTs易于优化和鲁棒性强。因此，它们可以很容易地应用于新的任务和数据集。
4.2 目标检测任务
图4.6 Light-CNN对比
图4.6 Heavy-CNN对比
图4.6显示，在320×320的相同输入分辨率下，基于MobileViT的SSDLite与其他轻型CNN模型(MobileNetv1、MobileNetv2、MobileNetv3、MNASNet和MixNet)相比，性能更好。
例如，当使用MobileViT而不是MNASNet作为Backbone时，SSDLite的性能提高了1.8%，其模型尺寸减少了1.8×。此外，基于MobileViT的SSDLite性能优于Heavy-CNN Backbone的标准SSD-300，同时学习的参数明显更少。
4.3 语义分割任务
图4.8 语义分割结果对比
图4.8显示了带有MobileViT的DeepLabv3更小更好。使用MobileViT代替MobileNetv2作为Backbone时，DeepLabv3的性能提高了1.4%，体积减少了1.6×。此外，MobileViT提供了具有竞争力的性能与模型renet-101相比，所需参数减少了9倍。
5参考
[1].MOBILEVIT: LIGHT-WEIGHT, GENERAL-PURPOSE,AND MOBILE-FRIENDLY VISION TRANSFORMER
6推荐阅读
Mobile-Former | MobileNet+Transformer轻量化模型(精度速度秒杀MobileNet)
超越MobileNet V3 | 详解SkipNet+Bias Loss=轻量化模型新的里程碑
