MobileNet算法的简介(论文介绍)
深度学习在图像分类，目标检测和图像分割等任务表现出了巨大的优越性。但是伴随着模型精度的提升是计算量，存储空间以及能耗方面的巨大开销，对于嵌入式应用，比如移动或车载应用都是难以接受的。
Abstract
We present a class of efficient models called MobileNets for mobile and embedded vision applications. MobileNets are based on a streamlined architecture that uses depthwise separable convolutions to build light weight deep neural networks. We introduce two simple global hyperparameters that efficiently trade off between latency and accuracy. These hyper-parameters allow the model builder to choose the right sized model for their application based on the constraints of the problem. We present extensive experiments on resource and accuracy tradeoffs and show strong performance compared to other popular models on ImageNet classification. We then demonstrate the effectiveness of MobileNets across a wide range of applications and use cases including object detection, finegrain classification, face attributes and large scale geo-localization.
摘要
我们为移动和嵌入式视觉应用提供了一类称为MobileNets的高效模型。Mobilenets基于一种流线型的架构，它使用纵向的可分离卷积来构建轻量级的深层神经网络。我们引入了两个简单的全局超参数，有效地在延迟和精度之间进行权衡。这些超参数允许模型生成器根据问题的约束为其应用程序选择合适大小的模型。我们在资源和精度权衡方面进行了广泛的实验，并在图像网分类方面与其他流行的模型相比表现出很强的性能。然后，我们展示了MobileNet在广泛应用和使用案例中的有效性，包括目标检测、细粒度分类、人脸属性和大规模地理定位。
Conclusion
We proposed a new model architecture called MobileNets based on depthwise separable convolutions. We investigated some of the important design decisions leading to an efficient model. We then demonstrated how to build smaller and faster MobileNets using width multiplier and resolution multiplier by trading off a reasonable amount of accuracy to reduce size and latency. We then compared different MobileNets to popular models demonstrating superior size, speed and accuracy characteristics. We concluded by demonstrating MobileNet’s effectiveness when applied to a wide variety of tasks. As a next step to help adoption and exploration of MobileNets, we plan on releasing models in TensorFlow.
结论
我们提出了一种新的模型体系结构，称为基于非纵向可分离卷积的MobileNets 。我们研究了导致有效模型的一些重要设计决策。然后，我们演示了如何利用宽度倍增器和分辨率倍增器来构建更小更快的移动网络，通过牺牲合理的精度来减少大小和延迟。然后，我们将不同的MobileNets 与流行的模型进行了比较，显示出优越的尺寸、速度和精度特性。最后，我们展示了Mobilenet在广泛应用于各种任务时的有效性。作为帮助采用和探索MobileNets的下一步，我们计划在TensorFlow中发布模型。
论文
Andrew G. Howard, MenglongZhu, Bo Chen, Dmitry Kalenichenko, et al.
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. 2017.
https://arxiv.org/abs/1704.04861
1、研究背景
深度学习在图像分类，目标检测和图像分割等任务表现出了巨大的优越性。但是伴随着模型精度的提升是计算量，存储空间以及能耗方面的巨大开销，对于移动或车载应用都是难以接受的。
2、传统的模型轻量化常用的方法
(1)、卷积核分解，使用1×N和N×1的卷积核代替N×N的卷积核
(2)、使用bottleneck结构，以SqueezeNet为代表
(3)、进行深度压缩，以低精度浮点数保存，例如Deep Compression，比如将32bit降维到8bit，进行保存！
(4)、冗余卷积核剪枝及哈弗曼编码
3、MobileNet 模型可应用于各种识别任务，以实现高效的设备智能
可以应用在各种嵌入式设备上。MobileNet models can be applied to various recognition tasks for efficient on device intelligence
MobileNet使用了一种称之为深度可分离卷积，来替代原有的传统3D卷积，减少了卷积核的冗余表达。
计算量和参数数量明显下降，卷积网络可以应用在更多的移动端平台。
深度可分离卷积的相关文章
DL之Xception：Xception算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
https://yunyaniu.blog.csdn.net/article/details/97934175
