1. 简介

2012年，Alex Krizhevsky, Ilya Sutskever和Geoffrey E. Hinton在论文《ImageNet Classification with Deep Convolutional Neural Networks》中提出AlexNet，夺得ILSVRC 2012的冠军。

AlexNet是最早的现代神经网络，AlexNet证明了CNN在复杂模型下的有效性，使用GPU使得训练在可接受的时间范围内得到结果，推动了有监督深度学习的发展。

主要特点：

采用GPU实现：两个GPU并行化计算，采用交叉验证，提高了准确率（第二、三层卷积层之间用了两个GPU的“串联”）

采用ReLU激活函数：克服了梯度消失问题且收敛速度较快，优于tanh与sigmoid函数

采用数据增强：数据增强采用图像平移和翻转来生成更多的训练图像，提升了模型的泛化能力

采用Dropout：降低了神经元之间互适应关系，迫使神经元不会过度依赖某个神经元或特征，可学习更为鲁棒的特征，防止过拟合

2. 网络结构

CONV

输入：227 × 227 × 3

卷积核：11 × 11 ，深度48，步长4

输出：55 × 55 × 96

Relu激活函数

POOL

输入：55 × 55 × 96

池化核：最大池化，3 × 3，步长2

输出：27 × 27 × 96

LRN（局部响应归一化）

Layer 2 ：CONV + POOL

CONV

输入：27 × 27 × 96 （SAME Padding）

卷积核：5 × 5 ，深度128 ，步长1

输出：27 × 27 × 256

Relu激活函数

POOL

输入：27 × 27 × 256

池化核：最大池化，3 × 3，步长2

输出：13 × 13 × 256

LRN（局部响应归一化）

Layer 3： CONV

CONV

输入：13 × 13 × 256 （SAME Padding）

卷积核：3 × 3 ，深度192 ，步长1

输出：13 × 13 × 384

Relu激活函数

Layer 4： CONV

CONV

输入：13 × 13 × 384 （SAME Padding）

卷积核：3 × 3 ，深度192 ，步长1

输出：13 × 13 × 384

Relu激活函数

Layer 5： CONV-POOL

CONV

输入：13 × 13 × 384 （SAME Padding）

卷积核：3 × 3 ，深度128，步长1

输出：13 × 13 × 256

Relu激活函数

POOL

输入：13 × 13 × 256

池化核：最大池化，3 × 3，步长2

输出：6 × 6 × 256

Layer 6： FC1

输入：9216

输出：4096

Relu激活函数

Layer 7： FC2

输入：4096

输出：4096

Relu激活函数

Layer 8： FC3

输入：4096

输出：1000

Sigmoid激活函数

说明：

原始图像大小256 × 256 × 3，经过随机裁剪、旋转等预处理，形成227 × 227 × 3

Layer 1中卷积核深度为48 ，由于是分在2个GPU上训练，所以总数为96；其他层同理。