【图像分类骨干网络】AlexNet

简介: 【图像分类骨干网络】AlexNet

为了降低ImageNet LSVRC-2010的分类错误,提出一种AlexNet网络(Krizhevsky, Sutskever, & Hinton, 2012),该网络共有8层,包含5个卷积层和3个全连接层。针对网络训练耗时大,实现了一种基于GPU的卷积计算,此外,使用dropout技术有效避免全连接层的过拟合。最后,在ILSVRC-2012竞赛中,取得了15.3%的top-5错误率,比第2名降低了近10个百分点的错误。


文献认为卷积层的深度对分类效果影响较大,对于AlexNet而言,移除中间层的任意一个卷积层都有可能造成top-1的分类精度下降2%。


AlexNet网络的卷积层使用了11×11,5×5和3×3的三种不同尺寸大小的滤波器,这种设计的出发点是什么?


全连接层使用Dropout技术虽然在一定程度上能够缓解过拟合现象,然而全连接层巨大的参数量造成模型偏大,此外,全连接层对分类效果的贡献不清。文中是否有相关研究,为什么是3个全连接层,而不是2个或1个?增加一个全连接层和增加一个卷积层,二者对提升分类效果的贡献是否相同?

数据集的介绍放在第2章显得不太合理,通常情况下,会在实验设置一节介绍本文实验将使用的数据集。


AlexNet网络的贡献是:


在ILSVRC-2010和ILSVRC-2012上训练了一个当时最大的卷积神经网络,并取得了STOA的效果;

在GPU上实现了2D卷积和其他训练卷积网络的操作,得益于此,有效降低了AlexNet的训练时间;

利用ReLU、LRN、GPU训练深度卷积神经网络等方法,提升AlexNet网络的分类效果及降低训练时间;

引入数据增强、dropout技术避免过拟合;

文献评述:


AlexNet掀起了在GPU上训练深度卷积神经网络的浪潮;

AlexNet是不是当时最深的卷积神经网络,在当时训练深度卷积神经网络面临的主要挑战是什么,AlexNet是不是首次引入GPU来训练深度卷积神经网络的;

在介绍网络结构之前,充分说明了为什么引入这些技术,采用问题驱动的方式进行介绍;


相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
5月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【PyTorch实战演练】AlexNet网络模型构建并使用Cifar10数据集进行批量训练(附代码)
【PyTorch实战演练】AlexNet网络模型构建并使用Cifar10数据集进行批量训练(附代码)
375 0
|
5月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【PyTorch实战演练】使用Cifar10数据集训练LeNet5网络并实现图像分类(附代码)
【PyTorch实战演练】使用Cifar10数据集训练LeNet5网络并实现图像分类(附代码)
353 0
|
5月前
|
算法 PyTorch 计算机视觉
改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝(TensorRT及NCNN部署)-2
改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝(TensorRT及NCNN部署)-2
改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝(TensorRT及NCNN部署)-2
|
4月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】26.卷积神经网络之AlexNet模型介绍及其Pytorch实现【含完整代码】
【从零开始学习深度学习】26.卷积神经网络之AlexNet模型介绍及其Pytorch实现【含完整代码】
|
3月前
|
机器学习/深度学习 编解码 计算机视觉
【YOLOv8改进- Backbone主干】BoTNet:基于Transformer,结合自注意力机制和卷积神经网络的骨干网络
【YOLOv8改进- Backbone主干】BoTNet:基于Transformer,结合自注意力机制和卷积神经网络的骨干网络
|
2月前
|
机器学习/深度学习 监控 数据可视化
|
5月前
|
机器学习/深度学习 存储 测试技术
【YOLOv8改进】 YOLOv8 更换骨干网络之 GhostNet :通过低成本操作获得更多特征 (论文笔记+引入代码).md
YOLO目标检测专栏探讨了卷积神经网络的创新改进,如Ghost模块,它通过低成本运算生成更多特征图,降低资源消耗,适用于嵌入式设备。GhostNet利用Ghost模块实现轻量级架构,性能超越MobileNetV3。此外,文章还介绍了SegNeXt,一个高效卷积注意力网络,提升语义分割性能,参数少但效果优于EfficientNet-L2。专栏提供YOLO相关基础解析、改进方法和实战案例。
|
5月前
|
机器学习/深度学习 计算机视觉
【YOLOv8改进】骨干网络: SwinTransformer (基于位移窗口的层次化视觉变换器)
YOLO目标检测创新改进与实战案例专栏介绍了YOLO的有效改进,包括使用新型视觉Transformer——Swin Transformer。Swin Transformer解决了Transformer在视觉领域的尺度变化和高分辨率问题,采用分层结构和移位窗口自注意力计算,适用于多种视觉任务,如图像分类、目标检测和语义分割,性能超越先前最佳模型。此外,文章还展示了如何在YOLOv8中引入Swin Transformer,并提供了相关代码实现。
|
5月前
|
机器学习/深度学习 算法
基于深度学习网络的十二生肖图像分类matlab仿真
该内容是关于使用GoogLeNet算法进行十二生肖图像分类的总结。在MATLAB2022a环境下,GoogLeNet通过Inception模块学习高层语义特征,处理不同尺寸的输入。核心程序展示了验证集上部分图像的预测标签和置信度,以4x4网格显示16张图像,每张附带预测类别和概率。
|
5月前
|
机器学习/深度学习 计算机视觉
【YOLOv8改进】 YOLOv8 更换骨干网络之GhostNetV2 长距离注意力机制增强廉价操作,构建更强端侧轻量型骨干 (论文笔记+引入代码)
该专栏聚焦YOLO目标检测的创新改进与实战,介绍了轻量级CNNs和注意力机制在移动设备上的应用。文章提出了一种名为GhostNetV2的新架构,结合了硬件友好的DFC注意力机制,强化了特征表达能力和全局信息捕获,同时保持低计算成本和高效推理。GhostNetV2在ImageNet上以167M FLOPs达到75.3%的top-1准确率,优于同类模型。创新点包括DFC注意力、模型结构优化和效率提升。源代码可在GitHub和MindSpore平台上找到。此外,还提到了YOLOv8的相关实现和任务配置。
下一篇
无影云桌面