深度学习:MobileNet V2

简介: 深度学习:MobileNet V2

MobileNet V2

前言

MobileNet V2 是谷歌团队2018年提出的网络,相比于MobileNet V1。

主要改进

Inverted Residuals Block

Residual Block

在这里插入图片描述
首先我们回顾传统的残差块,它是由一个 1 1的卷积降维+ 3 3 卷积 + 1* 1卷积升维。(激活函数与BN省略)

Expansion Layer

在这里插入图片描述

倒残差结构如上图,他是先用 1 1卷积升维+DW卷积 + 1 1卷积降维。

ReLU6

在这里插入图片描述

作者把ReLU激活函数换成了ReLU6,y的数值不在随着x的增长而增长,到6之后不再变化。

原因:
由于ReLU的值域是0到正无穷,在低精度浮点数下不能很好的表示,于是改成了ReLU6可以增加模型的稳定性。

这里所说的“低精度”,我看到有人说不是指的float16,而是指的定点运算(fixed-point arithmetic)。

Linear Activation Function

作者通过证明,对低维度做ReLU运算,很容易造成信息的丢失。而在高维度进行ReLU运算的话,信息的丢失则会很少。
所以作者把最后1 * 1卷积降维后的激活函数换成线性激活函数。

小结

把上面内容汇聚到一起,于是就有了如下模块:

在这里插入图片描述
这里注意只有stride =1 的时候才有残差模块,因为要保证输入矩阵特征与输出矩阵特征一致才可以执行add操作。

实验

在这里插入图片描述

目录
相关文章
|
11月前
|
Linux
如何在 Linux 系统中查看进程占用的内存?
如何在 Linux 系统中查看进程占用的内存?
1412 58
|
机器学习/深度学习 自然语言处理
深度学习中的模型压缩技术:精度与效率的平衡
在深度学习领域,模型压缩技术已经成为一项关键技术。它通过减少模型的参数数量和计算量,实现了模型的轻量化和高效化。本文将介绍几种常见的模型压缩方法,包括参数剪枝、量化、知识蒸馏等,并探讨这些方法如何帮助模型在保持精度的同时提高运行效率。我们将分析每种方法的原理、实现步骤以及优缺点,并通过实验结果对比不同方法的性能表现。最后,我们将讨论模型压缩技术在未来可能的发展方向及其应用前景。
351 1
|
12月前
|
运维 监控 持续交付
运维之道:从新手到高手的蜕变之路
【10月更文挑战第14天】 在当今这个数字化时代,运维作为保障系统稳定运行的重要岗位,其重要性不言而喻。本文将带你走进运维的世界,探索从一名运维新手成长为行业高手的过程。我们将一起了解运维的基本职责、面临的挑战以及必备的技能和知识。通过实际案例分析,揭示如何在实践中不断提升自己的能力,最终实现职业生涯的飞跃。无论你是即将踏入这个行业的新人,还是已经在行业中摸爬滚打多年的老手,相信本文都能为你提供一些有价值的启示和指导。
224 2
|
11月前
|
前端开发 JavaScript
深入理解 JavaScript 的异步编程
深入理解 JavaScript 的异步编程
123 0
|
机器学习/深度学习 数据采集 TensorFlow
使用TensorFlow进行模型训练:一次实战探索
【8月更文挑战第22天】本文通过实战案例详解使用TensorFlow进行模型训练的过程。首先确保已安装TensorFlow,接着预处理数据,包括加载、增强及归一化。然后利用`tf.keras`构建卷积神经网络模型,并配置训练参数。最后通过回调机制训练模型,并对模型性能进行评估。此流程为机器学习项目提供了一个实用指南。
|
机器学习/深度学习 自然语言处理
微软 Copilot有没有中文版?微软Copilot中文版官网入口介绍
微软Copilot是一款由微软开发的智能助手,旨在通过人工智能技术提升用户在各种软件应用中的工作效率。它集成了自然语言处理(NLP)和机器学习(ML)技术,能够理解用户的意图,并提供实时的建议和自动化功能。Copilot的设计初衷是帮助用户更好地利用工具,提高创造力和生产力。
|
人工智能 开发者
AI 助理能为我做什么?
阿里云AI助理融合了大模型能力,聚焦于开发者在阿里云平台上的关键需求,提供包括云产品咨询、权益活动推荐、下单购买引导、云资源查询与诊断等服务,助力开发者快速解决问题,提高业务效率,让云上开发之旅更加顺畅。
918 0
|
关系型数据库 MySQL
MySQL 的 union 和union all 的区别
【5月更文挑战第4天】MySQL 的 union 和union all 的区别
526 7
|
机器学习/深度学习 算法 TensorFlow
Inception v3算法的实战与解析
Inception v3算法的实战与解析
490 0
|
机器学习/深度学习 人工智能 搜索推荐
语音识别技术的现状与未来展望
【6月更文挑战第15天】**语音识别技术现状与未来:** 随AI发展,语音识别精度与速度大幅提升,应用广泛,从手机助手到智能家居。深度学习驱动技术进步,跨语言及多模态交互成为新趋势。未来,精度、鲁棒性将增强,深度学习将进一步融合,个性化和情感化交互将提升用户体验。跨领域融合与生态共建将推动技术普及,为各行业带来更多智能解决方案。但同时也需关注技术伦理和社会影响。