DL之AlexNet:AlexNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

简介: DL之AlexNet:AlexNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

AlexNet简介


     作者:AlexKrizhevsky、GeoffreyE.Hinton(多伦多大学)。AlexNet以巨大的优势(领先第二名10%的成绩),在ILSVRC2012图像分类竟赛第一名,将top-5 错误率原来的25%降至16.4%。标志着深度学习革命的开始,掀起了深度卷积神经网络在各个领域的研究热潮。


1、采用的数据集

ImageNet ILSVRC-2010数据集:1.2 million图片1000类别 。

2、论文

2012《ImageNet Classification with Deep Convolutional  Neural Networks》

Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton.

Imagenetclassification with deep convolutional neural networks. NIPS 2012.

论文地址:https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf



AlexNet架构详解


DL之AlexNet:AlexNet算法的架构详解、损失函数、网络训练和学习之详细攻略



1、整体架构


网络配置:卷积神经网络网络架构:5个卷积层和3个全连接层。双CPU并行计算,在第三个卷积层和全连接层做信息交互。

网络规模:总共60 million个参数;650,000个神经元。在两个NVIDIA GTX 580 3GB GPU上训练需要5~6天。

架构组件与技巧:ReLU、Dropout、LRN(Local Response Normalization) 、Overlapping max pooling 、数据增强 、双CPU训练

2、实验结果


ILSVRC-2010: top-1和top-5错误率分别为37.5%和17.0%

ILSVRC-2012: top-5错误率分别为16.4%

在整个ImageNet 2011数据集上预训练后的结果:ILSVRC-2012,top-5猎误为15.3%

(1)、ILSVRC-2010训练集上的结果比较


            可知,远远好于传统手工提取的方法。


image.png


(2)、ILSVRC-2012验证集和测试集上的错误率比较


         最后一个7个卷积层的网络错误率达到15.3%。


image.png


              带星号*的是在整个更大的ImageNet 2011数据集(15M图像, 22K类别)上预训练后再微调的结果。



3、AlexNet网络所需算力


(1)、AlexNet的forward处理中各层的时间比:左边是使用GPU的情况,右边是使用CPU的情况。图中的“conv”对应卷积层,“pool”对应池化层,“fc”对应全连接层,“norm”对应正规化层。

image.png



图片来源:Jia Yangqing(2014): Learning Semantic Image Representations at a Large Scale. PhD thesis, EECS Department, University of California, Berkeley, May 2014.


(2)、使用CPU 的“16-core Xeon CPU”和GPU的 “Titan 系列”进行AlexNet的学习时分别所需的时间

image.png



图片来源:NVIDIA blog “NVIDIA Propels Deep Learning with TITAN X, New DIGITS Training System and DevBox”.





4、8个ILSVRC-2010测试图像和模型认为最可能的前5个标签


image.png


    正确的标签写在每个图像下面,分配给正确标签的概率也用红色条显示(如果恰好位于前5个)。


image.png


    第一列是5个ILSVRC-2010的测试图像;其余的列显示了6个最近的训练图像(即在最后隐藏层生成的特征向量和测试图像的特征向量具有最小的欧几里得距离)。




image.png


image.png


AlexNet算法的案例应用


后期更新……


 

目录
打赏
0
0
0
0
1044
分享
相关文章
安全监控系统:技术架构与应用解析
该系统采用模块化设计,集成了行为识别、视频监控、人脸识别、危险区域检测、异常事件检测、日志追溯及消息推送等功能,并可选配OCR识别模块。基于深度学习与开源技术栈(如TensorFlow、OpenCV),系统具备高精度、低延迟特点,支持实时分析儿童行为、监测危险区域、识别异常事件,并将结果推送给教师或家长。同时兼容主流硬件,支持本地化推理与分布式处理,确保可靠性与扩展性,为幼儿园安全管理提供全面解决方案。
MCP详解:背景、架构与应用
模型上下文协议(MCP)是由Anthropic提出的开源标准,旨在解决大语言模型与外部数据源和工具集成的难题。作为AI领域的“USB-C接口”,MCP通过标准化、双向通信通道连接模型与外部服务,支持资源访问、工具调用及提示模板交互。其架构基于客户端-服务器模型,提供Python、TypeScript等多语言SDK,方便开发者快速构建服务。MCP已广泛应用于文件系统、数据库、网页浏览等领域,并被阿里云百炼平台引入,助力快速搭建智能助手。未来,MCP有望成为连接大模型与现实世界的通用标准,推动AI生态繁荣发展。
643 8
AI训练师入行指南(三):机器学习算法和模型架构选择
从淘金到雕琢,将原始数据炼成智能珠宝!本文带您走进数字珠宝工坊,用算法工具打磨数据金砂。从基础的经典算法到精密的深度学习模型,结合电商、医疗、金融等场景实战,手把手教您选择合适工具,打造价值连城的智能应用。掌握AutoML改装套件与模型蒸馏术,让复杂问题迎刃而解。握紧算法刻刀,为数字世界雕刻文明!
85 6
|
2月前
|
类似ComfyUI和Midjourney这样的文生图图生图应用的API与服务架构该怎么设计
文生图图生图应用的API与服务架构分析。或和微服务类似,但是不同。ComfyUI其 API 架构设计为我们理解此类应用提供了很好的参考模型。但距离生产级别的应用差距还有很远。
127 0
基于和声搜索优化算法的机器工作调度matlab仿真,输出甘特图
本程序基于和声搜索优化算法(Harmony Search, HS),实现机器工作调度的MATLAB仿真,输出甘特图展示调度结果。算法通过模拟音乐家即兴演奏寻找最佳和声的过程,优化任务在不同机器上的执行顺序,以最小化完成时间和最大化资源利用率为目标。程序适用于MATLAB 2022A版本,运行后无水印。核心参数包括和声记忆大小(HMS)等,适应度函数用于建模优化目标。附带完整代码与运行结果展示。
基于AES的遥感图像加密算法matlab仿真
本程序基于MATLAB 2022a实现,采用AES算法对遥感图像进行加密与解密。主要步骤包括:将彩色图像灰度化并重置大小为256×256像素,通过AES的字节替换、行移位、列混合及轮密钥加等操作完成加密,随后进行解密并验证图像质量(如PSNR值)。实验结果展示了原图、加密图和解密图,分析了图像直方图、相关性及熵的变化,确保加密安全性与解密后图像质量。该方法适用于保护遥感图像中的敏感信息,在军事、环境监测等领域具有重要应用价值。
基于免疫算法的最优物流仓储点选址方案MATLAB仿真
本程序基于免疫算法实现物流仓储点选址优化,并通过MATLAB 2022A仿真展示结果。核心代码包括收敛曲线绘制、最优派送路线规划及可视化。算法模拟生物免疫系统,通过多样性生成、亲和力评价、选择、克隆、变异和抑制机制,高效搜索最优解。解决了物流仓储点选址这一复杂多目标优化问题,显著提升物流效率与服务质量。附完整无水印运行结果图示。
基于免疫算法的最优物流仓储点选址方案MATLAB仿真
基于GA遗传优化TCN-GRU时间卷积神经网络时间序列预测算法matlab仿真
本项目基于MATLAB2022a开发,提供无水印算法运行效果预览及核心程序(含详细中文注释与操作视频)。通过结合时间卷积神经网络(TCN)和遗传算法(GA),实现复杂非线性时间序列的高精度预测。TCN利用因果卷积层与残差连接提取时间特征,GA优化超参数(如卷积核大小、层数等),显著提升模型性能。项目涵盖理论概述、程序代码及完整实现流程,适用于金融、气象、工业等领域的时间序列预测任务。
基于遗传优化算法的多AGV栅格地图路径规划matlab仿真
本程序基于遗传优化算法实现多AGV栅格地图路径规划的MATLAB仿真(测试版本:MATLAB2022A)。支持单个及多个AGV路径规划,输出路径结果与收敛曲线。核心程序代码完整,无水印。算法适用于现代工业与物流场景,通过模拟自然进化机制(选择、交叉、变异)解决复杂环境下的路径优化问题,有效提升效率并避免碰撞。适合学习研究多AGV系统路径规划技术。
基于GA遗传算法的斜拉桥静载试验车辆最优布载matlab仿真
本程序基于遗传算法(GA)实现斜拉桥静载试验车辆最优布载的MATLAB仿真,旨在自动化确定车辆位置以满足加载效率ηq(0.95≤ηq≤1.05)的要求,目标是使ηq尽量接近1,同时减少加载车辆数量和布载耗时。程序通过迭代优化计算车辆位置、方向、类型及占用车道等参数,并展示适应度值收敛过程。测试版本为MATLAB2022A,包含核心代码与运行结果展示。优化模型综合考虑车辆总重量、间距及桥梁允许载荷密度等约束条件,确保布载方案科学合理。
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等