为了降低ImageNet LSVRC-2010的分类错误,提出一种AlexNet网络(Krizhevsky, Sutskever, & Hinton, 2012),该网络共有8层,包含5个卷积层和3个全连接层。针对网络训练耗时大,实现了一种基于GPU的卷积计算,此外,使用dropout技术有效避免全连接层的过拟合。最后,在ILSVRC-2012竞赛中,取得了15.3%的top-5错误率,比第2名降低了近10个百分点的错误。
文献认为卷积层的深度对分类效果影响较大,对于AlexNet而言,移除中间层的任意一个卷积层都有可能造成top-1的分类精度下降2%。
AlexNet网络的卷积层使用了11×11,5×5和3×3的三种不同尺寸大小的滤波器,这种设计的出发点是什么?
全连接层使用Dropout技术虽然在一定程度上能够缓解过拟合现象,然而全连接层巨大的参数量造成模型偏大,此外,全连接层对分类效果的贡献不清。文中是否有相关研究,为什么是3个全连接层,而不是2个或1个?增加一个全连接层和增加一个卷积层,二者对提升分类效果的贡献是否相同?
数据集的介绍放在第2章显得不太合理,通常情况下,会在实验设置一节介绍本文实验将使用的数据集。
AlexNet网络的贡献是:
在ILSVRC-2010和ILSVRC-2012上训练了一个当时最大的卷积神经网络,并取得了STOA的效果;
在GPU上实现了2D卷积和其他训练卷积网络的操作,得益于此,有效降低了AlexNet的训练时间;
利用ReLU、LRN、GPU训练深度卷积神经网络等方法,提升AlexNet网络的分类效果及降低训练时间;
引入数据增强、dropout技术避免过拟合;
文献评述:
AlexNet掀起了在GPU上训练深度卷积神经网络的浪潮;
AlexNet是不是当时最深的卷积神经网络,在当时训练深度卷积神经网络面临的主要挑战是什么,AlexNet是不是首次引入GPU来训练深度卷积神经网络的;
在介绍网络结构之前,充分说明了为什么引入这些技术,采用问题驱动的方式进行介绍;