【图像分类骨干网络】AlexNet

简介: 【图像分类骨干网络】AlexNet

为了降低ImageNet LSVRC-2010的分类错误,提出一种AlexNet网络(Krizhevsky, Sutskever, & Hinton, 2012),该网络共有8层,包含5个卷积层和3个全连接层。针对网络训练耗时大,实现了一种基于GPU的卷积计算,此外,使用dropout技术有效避免全连接层的过拟合。最后,在ILSVRC-2012竞赛中,取得了15.3%的top-5错误率,比第2名降低了近10个百分点的错误。


文献认为卷积层的深度对分类效果影响较大,对于AlexNet而言,移除中间层的任意一个卷积层都有可能造成top-1的分类精度下降2%。


AlexNet网络的卷积层使用了11×11,5×5和3×3的三种不同尺寸大小的滤波器,这种设计的出发点是什么?


全连接层使用Dropout技术虽然在一定程度上能够缓解过拟合现象,然而全连接层巨大的参数量造成模型偏大,此外,全连接层对分类效果的贡献不清。文中是否有相关研究,为什么是3个全连接层,而不是2个或1个?增加一个全连接层和增加一个卷积层,二者对提升分类效果的贡献是否相同?

数据集的介绍放在第2章显得不太合理,通常情况下,会在实验设置一节介绍本文实验将使用的数据集。


AlexNet网络的贡献是:


在ILSVRC-2010和ILSVRC-2012上训练了一个当时最大的卷积神经网络,并取得了STOA的效果;

在GPU上实现了2D卷积和其他训练卷积网络的操作,得益于此,有效降低了AlexNet的训练时间;

利用ReLU、LRN、GPU训练深度卷积神经网络等方法,提升AlexNet网络的分类效果及降低训练时间;

引入数据增强、dropout技术避免过拟合;

文献评述:


AlexNet掀起了在GPU上训练深度卷积神经网络的浪潮;

AlexNet是不是当时最深的卷积神经网络,在当时训练深度卷积神经网络面临的主要挑战是什么,AlexNet是不是首次引入GPU来训练深度卷积神经网络的;

在介绍网络结构之前,充分说明了为什么引入这些技术,采用问题驱动的方式进行介绍;


相关实践学习
基于阿里云DeepGPU实例,用AI画唯美国风少女
本实验基于阿里云DeepGPU实例,使用aiacctorch加速stable-diffusion-webui,用AI画唯美国风少女,可提升性能至高至原性能的2.6倍。
目录
相关文章
|
1天前
|
机器学习/深度学习 人工智能 编解码
Backbone往事 | AlexNet~EfficientNet,10多个网络演变铺满了炼丹师们的青葱岁月
Backbone往事 | AlexNet~EfficientNet,10多个网络演变铺满了炼丹师们的青葱岁月
|
24天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
基于深度学习的图像分类:使用卷积神经网络实现猫狗分类器
基于深度学习的图像分类:使用卷积神经网络实现猫狗分类器
21 0
|
2月前
|
机器学习/深度学习 数据采集 PyTorch
PyTorch搭建卷积神经网络(ResNet-50网络)进行图像分类实战(附源码和数据集)
PyTorch搭建卷积神经网络(ResNet-50网络)进行图像分类实战(附源码和数据集)
44 1
|
2月前
|
机器学习/深度学习 数据采集 算法
基于AlexNet深度学习网络的智能垃圾分类系统matlab仿真
基于AlexNet深度学习网络的智能垃圾分类系统matlab仿真
|
3月前
|
机器学习/深度学习 算法 数据可视化
基于Alexnet深度学习网络的人员口罩识别算法matlab仿真
基于Alexnet深度学习网络的人员口罩识别算法matlab仿真
|
5月前
|
安全 算法 物联网
为什么 Wi-Fi 6 可能成为下一个骨干网络?
为什么 Wi-Fi 6 可能成为下一个骨干网络?
51 0
为什么 Wi-Fi 6 可能成为下一个骨干网络?
|
6月前
|
机器学习/深度学习 人工智能 并行计算
【图像分类】基于LabVIEW实现四大经典轻量级网络之一MobileNet的图像分类
【图像分类】基于LabVIEW实现四大经典轻量级网络之一MobileNet的图像分类
114 0
【图像分类】基于LabVIEW实现四大经典轻量级网络之一MobileNet的图像分类
|
6月前
|
机器学习/深度学习 数据采集 算法
基于Alexnet深度学习网络的ECG信号是否异常识别算法matlab仿真
基于Alexnet深度学习网络的ECG信号是否异常识别算法matlab仿真
|
6月前
|
机器学习/深度学习 数据采集 算法
基于Alexnet深度学习网络的人脸识别算法matlab仿真
基于Alexnet深度学习网络的人脸识别算法matlab仿真
|
6月前
|
机器学习/深度学习 数据挖掘 PyTorch
图像分类经典神经网络大总结(AlexNet、VGG 、GoogLeNet 、ResNet、 DenseNet、SENet、ResNeXt )
图像分类经典神经网络大总结(AlexNet、VGG 、GoogLeNet 、ResNet、 DenseNet、SENet、ResNeXt )
421 0
图像分类经典神经网络大总结(AlexNet、VGG 、GoogLeNet 、ResNet、 DenseNet、SENet、ResNeXt )

相关产品