DL之AlexNet:AlexNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略-阿里云开发者社区

开发者社区> 人工智能> 正文
登录阅读全文

DL之AlexNet:AlexNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

简介: DL之AlexNet:AlexNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

AlexNet简介


     作者:AlexKrizhevsky、GeoffreyE.Hinton(多伦多大学)。AlexNet以巨大的优势(领先第二名10%的成绩),在ILSVRC2012图像分类竟赛第一名,将top-5 错误率原来的25%降至16.4%。标志着深度学习革命的开始,掀起了深度卷积神经网络在各个领域的研究热潮。


1、采用的数据集

ImageNet ILSVRC-2010数据集:1.2 million图片1000类别 。

2、论文

2012《ImageNet Classification with Deep Convolutional  Neural Networks》

Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton.

Imagenetclassification with deep convolutional neural networks. NIPS 2012.

论文地址:https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf



AlexNet架构详解


DL之AlexNet:AlexNet算法的架构详解、损失函数、网络训练和学习之详细攻略



1、整体架构


网络配置:卷积神经网络网络架构:5个卷积层和3个全连接层。双CPU并行计算,在第三个卷积层和全连接层做信息交互。

网络规模:总共60 million个参数;650,000个神经元。在两个NVIDIA GTX 580 3GB GPU上训练需要5~6天。

架构组件与技巧:ReLU、Dropout、LRN(Local Response Normalization) 、Overlapping max pooling 、数据增强 、双CPU训练

2、实验结果


ILSVRC-2010: top-1和top-5错误率分别为37.5%和17.0%

ILSVRC-2012: top-5错误率分别为16.4%

在整个ImageNet 2011数据集上预训练后的结果:ILSVRC-2012,top-5猎误为15.3%

(1)、ILSVRC-2010训练集上的结果比较


            可知,远远好于传统手工提取的方法。


image.png


(2)、ILSVRC-2012验证集和测试集上的错误率比较


         最后一个7个卷积层的网络错误率达到15.3%。


image.png


              带星号*的是在整个更大的ImageNet 2011数据集(15M图像, 22K类别)上预训练后再微调的结果。



3、AlexNet网络所需算力


(1)、AlexNet的forward处理中各层的时间比:左边是使用GPU的情况,右边是使用CPU的情况。图中的“conv”对应卷积层,“pool”对应池化层,“fc”对应全连接层,“norm”对应正规化层。

image.png



图片来源:Jia Yangqing(2014): Learning Semantic Image Representations at a Large Scale. PhD thesis, EECS Department, University of California, Berkeley, May 2014.


(2)、使用CPU 的“16-core Xeon CPU”和GPU的 “Titan 系列”进行AlexNet的学习时分别所需的时间

image.png



图片来源:NVIDIA blog “NVIDIA Propels Deep Learning with TITAN X, New DIGITS Training System and DevBox”.





4、8个ILSVRC-2010测试图像和模型认为最可能的前5个标签


image.png


    正确的标签写在每个图像下面,分配给正确标签的概率也用红色条显示(如果恰好位于前5个)。


image.png


    第一列是5个ILSVRC-2010的测试图像;其余的列显示了6个最近的训练图像(即在最后隐藏层生成的特征向量和测试图像的特征向量具有最小的欧几里得距离)。




image.png


image.png


AlexNet算法的案例应用


后期更新……


 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章
最新文章
相关文章