巧借Deep Network Designer分析经典网络结构——AlexNet

简介: 巧借Deep Network Designer分析经典网络结构——AlexNet

关于如何使用Deep Network Designer,大家可以打开自己的MATLAB,在APP一栏中找到Deep Network Designer点击打开即可。使用的具体流程详见我在介绍LeNet5一文中,这里就不在赘述了。地址: www.jianshu.com/p/86f591c44…


image.png


Deep Network Designer

image.png


AlexNet

image.png


网络流程序图

image.png



网络参数明细图


AlexNet 是 vgg 网络和 resten 网络系列的基石。其网络架构中新颖的特征如下所示


1.以ReLu替代sigmoid和tanh函数。实践证明这样可以使网络更快收敛


2.其中最大池化( Max pooling)的概念也是在AlexNet提出的,即对每一个邻近像素组成的"池子",选取像素最大值作为输出。在LeNet中,池化的像素是不重叠的;而在 AlexNet 中进行的是有重叠的池化。(PS:我在介绍LeNet中的池化采用的也是最大池化)大量的实践表明,有重叠的最大池化能够很好的克服过拟合问题,提升系统性能。


3.随机丢弃(Dropout)为了避免系统参数更新过快导致的过拟合,每一次利用训练样本更新参数的时候,随机“丢弃”一定比例的神经元,被丢弃的神经元不再参与训练过程,输入和输出该神经元的权重系数也不做更新。这样每次训练时训练的网络构架都不一样,而这些不同的网络构架却分享共同训练的权重系数。实践表明,随机丢弃的技术技术减缓了网络收敛度,也大概率避免了过拟合的发生。


4.在多个GPU上训练。单个GPU存储空间有限,使用两块GPU,在每个GPU上存储一半的kernels,这两块GPU在特定层上通信




相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
打赏
0
0
0
0
181
分享
相关文章
RT-DETR改进策略【模型轻量化】| 替换骨干网络为EfficientNet v1 高效的移动倒置瓶颈结构
RT-DETR改进策略【模型轻量化】| 替换骨干网络为EfficientNet v1 高效的移动倒置瓶颈结构
34 0
RT-DETR改进策略【模型轻量化】| 替换骨干网络为EfficientNet v1 高效的移动倒置瓶颈结构
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V1 基于 Ghost Module 和 Ghost Bottlenecks的轻量化网络结构
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V1 基于 Ghost Module 和 Ghost Bottlenecks的轻量化网络结构
100 61
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V1 基于 Ghost Module 和 Ghost Bottlenecks的轻量化网络结构
蜂窝网络未来发展趋势的分析
蜂窝网络未来发展趋势的分析
134 2
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v1 高效的移动倒置瓶颈结构
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v1 高效的移动倒置瓶颈结构
67 14
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v1 高效的移动倒置瓶颈结构
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 GhostNet V1 基于 Ghost Module 和 Ghost Bottlenecks的轻量化网络结构
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 GhostNet V1 基于 Ghost Module 和 Ghost Bottlenecks的轻量化网络结构
90 13
浅析Kismet:无线网络监测与分析工具
Kismet是一款开源的无线网络监测和入侵检测系统(IDS),支持Wi-Fi、Bluetooth、ZigBee等协议,具备被动监听、实时数据分析、地理定位等功能。广泛应用于安全审计、网络优化和频谱管理。本文介绍其安装配置、基本操作及高级应用技巧,帮助用户掌握这一强大的无线网络安全工具。
106 9
浅析Kismet:无线网络监测与分析工具
基于AI的网络流量分析:构建智能化运维体系
基于AI的网络流量分析:构建智能化运维体系
275 13
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
119 8
【Azure 环境】从网络包中分析出TLS加密套件信息
An TLS 1.2 connection request was received from a remote client application, but non of the cipher suites supported by the client application are supported by the server. The connection request has failed. 从远程客户端应用程序收到 TLS 1.2 连接请求,但服务器不支持客户端应用程序支持的任何密码套件。连接请求失败。
112 2

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等