DL之AlexNet:AlexNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

简介: DL之AlexNet:AlexNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

AlexNet简介


     作者:AlexKrizhevsky、GeoffreyE.Hinton(多伦多大学)。AlexNet以巨大的优势(领先第二名10%的成绩),在ILSVRC2012图像分类竟赛第一名,将top-5 错误率原来的25%降至16.4%。标志着深度学习革命的开始,掀起了深度卷积神经网络在各个领域的研究热潮。


1、采用的数据集

ImageNet ILSVRC-2010数据集:1.2 million图片1000类别 。

2、论文

2012《ImageNet Classification with Deep Convolutional  Neural Networks》

Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton.

Imagenetclassification with deep convolutional neural networks. NIPS 2012.

论文地址:https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf



AlexNet架构详解


DL之AlexNet:AlexNet算法的架构详解、损失函数、网络训练和学习之详细攻略



1、整体架构


网络配置:卷积神经网络网络架构:5个卷积层和3个全连接层。双CPU并行计算,在第三个卷积层和全连接层做信息交互。

网络规模:总共60 million个参数;650,000个神经元。在两个NVIDIA GTX 580 3GB GPU上训练需要5~6天。

架构组件与技巧:ReLU、Dropout、LRN(Local Response Normalization) 、Overlapping max pooling 、数据增强 、双CPU训练

2、实验结果


ILSVRC-2010: top-1和top-5错误率分别为37.5%和17.0%

ILSVRC-2012: top-5错误率分别为16.4%

在整个ImageNet 2011数据集上预训练后的结果:ILSVRC-2012,top-5猎误为15.3%

(1)、ILSVRC-2010训练集上的结果比较


            可知,远远好于传统手工提取的方法。


image.png


(2)、ILSVRC-2012验证集和测试集上的错误率比较


         最后一个7个卷积层的网络错误率达到15.3%。


image.png


              带星号*的是在整个更大的ImageNet 2011数据集(15M图像, 22K类别)上预训练后再微调的结果。



3、AlexNet网络所需算力


(1)、AlexNet的forward处理中各层的时间比:左边是使用GPU的情况,右边是使用CPU的情况。图中的“conv”对应卷积层,“pool”对应池化层,“fc”对应全连接层,“norm”对应正规化层。

image.png



图片来源:Jia Yangqing(2014): Learning Semantic Image Representations at a Large Scale. PhD thesis, EECS Department, University of California, Berkeley, May 2014.


(2)、使用CPU 的“16-core Xeon CPU”和GPU的 “Titan 系列”进行AlexNet的学习时分别所需的时间

image.png



图片来源:NVIDIA blog “NVIDIA Propels Deep Learning with TITAN X, New DIGITS Training System and DevBox”.





4、8个ILSVRC-2010测试图像和模型认为最可能的前5个标签


image.png


    正确的标签写在每个图像下面,分配给正确标签的概率也用红色条显示(如果恰好位于前5个)。


image.png


    第一列是5个ILSVRC-2010的测试图像;其余的列显示了6个最近的训练图像(即在最后隐藏层生成的特征向量和测试图像的特征向量具有最小的欧几里得距离)。




image.png


image.png


AlexNet算法的案例应用


后期更新……


 

目录
打赏
0
0
0
0
1045
分享
相关文章
DeepSeek加持的通义灵码2.0 AI程序员实战案例:助力嵌入式开发中的算法生成革新
本文介绍了通义灵码2.0 AI程序员在嵌入式开发中的实战应用。通过安装VS Code插件并登录阿里云账号,用户可切换至DeepSeek V3模型,利用其强大的代码生成能力。实战案例中,AI程序员根据自然语言描述快速生成了C语言的base64编解码算法,包括源代码、头文件、测试代码和CMake编译脚本。即使在编译错误和需求迭代的情况下,AI程序员也能迅速分析问题并修复代码,最终成功实现功能。作者认为,通义灵码2.0显著提升了开发效率,打破了编程语言限制,是AI编程从辅助工具向工程级协同开发转变的重要标志,值得开发者广泛使用。
8236 71
DeepSeek加持的通义灵码2.0 AI程序员实战案例:助力嵌入式开发中的算法生成革新
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
136 0
NeurIPS 2024最佳论文,扩散模型的创新替代:基于多尺度预测的视觉自回归架构
本文详细解读NeurIPS 2024最佳论文《视觉自回归建模:基于下一尺度预测的可扩展图像生成》。该研究提出VAR模型,通过多尺度token图和VAR Transformer结构,实现高效、高质量的图像生成,解决了传统自回归模型在二维结构信息、泛化能力和计算效率上的局限。实验表明,VAR在图像质量和速度上超越现有扩散模型,并展示出良好的扩展性和零样本泛化能力。未来研究将聚焦于文本引导生成和视频生成等方向。
580 8
NeurIPS 2024最佳论文,扩散模型的创新替代:基于多尺度预测的视觉自回归架构
这些算法在实际应用中有哪些具体案例呢
【10月更文挑战第19天】这些算法在实际应用中有哪些具体案例呢
149 1
基于GA遗传算法的悬索桥静载试验车辆最优布载matlab仿真
本程序基于遗传算法(GA)实现悬索桥静载试验车辆最优布载的MATLAB仿真(2022A版)。目标是自动化确定车辆位置,使加载效率ηq满足0.95≤ηq≤1.05且尽量接近1,同时减少车辆数量与布载时间。核心原理通过优化模型平衡最小车辆使用与ηq接近1的目标,并考虑桥梁载荷、车辆间距等约束条件。测试结果展示布载方案的有效性,适用于悬索桥承载能力评估及性能检测场景。
基于双向RRT算法的三维空间最优路线规划matlab仿真
本程序基于双向RRT算法实现三维空间最优路径规划,适用于机器人在复杂环境中的路径寻找问题。通过MATLAB 2022A测试运行,结果展示完整且无水印。算法从起点和终点同时构建两棵随机树,利用随机采样、最近节点查找、扩展等步骤,使两棵树相遇以形成路径,显著提高搜索效率。相比单向RRT,双向RRT在高维或障碍物密集场景中表现更优,为机器人技术提供了有效解决方案。
基于和声搜索优化算法的机器工作调度matlab仿真,输出甘特图
本程序基于和声搜索优化算法(Harmony Search, HS),实现机器工作调度的MATLAB仿真,输出甘特图展示调度结果。算法通过模拟音乐家即兴演奏寻找最佳和声的过程,优化任务在不同机器上的执行顺序,以最小化完成时间和最大化资源利用率为目标。程序适用于MATLAB 2022A版本,运行后无水印。核心参数包括和声记忆大小(HMS)等,适应度函数用于建模优化目标。附带完整代码与运行结果展示。
基于GA遗传优化的最优阈值计算认知异构网络(CHN)能量检测算法matlab仿真
本内容介绍了一种基于GA遗传优化的阈值计算方法在认知异构网络(CHN)中的应用。通过Matlab2022a实现算法,完整代码含中文注释与操作视频。能量检测算法用于感知主用户信号,其性能依赖检测阈值。传统固定阈值方法易受噪声影响,而GA算法通过模拟生物进化,在复杂环境中自动优化阈值,提高频谱感知准确性,增强CHN的通信效率与资源利用率。预览效果无水印,核心程序部分展示,适合研究频谱感知与优化算法的学者参考。
基于AES的遥感图像加密算法matlab仿真
本程序基于MATLAB 2022a实现,采用AES算法对遥感图像进行加密与解密。主要步骤包括:将彩色图像灰度化并重置大小为256×256像素,通过AES的字节替换、行移位、列混合及轮密钥加等操作完成加密,随后进行解密并验证图像质量(如PSNR值)。实验结果展示了原图、加密图和解密图,分析了图像直方图、相关性及熵的变化,确保加密安全性与解密后图像质量。该方法适用于保护遥感图像中的敏感信息,在军事、环境监测等领域具有重要应用价值。
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等