1. 简介
1998年，Yann LeCun在论文《Gradient-based learning applied to document recognition》提出LeNet-5，它是第一个成功应用于手写数字识别问题的卷积神经网络，在MNIST数据集上可达到99.2%的正确率。
2. 网络结构
Layer 1：卷积层
输入：32 × 32 （灰度图像28 × 28 ，周围用两个像素填充）
卷积核：5 × 5 ，深度6 ，步长1
输出：28 × 28 × 6
参数个数：5 × 5 × 1 × 6 + 6 = 156 ，其中加项的6 66个为偏置项参数
连接数：( 5 ∗ 5 + 1 ) × 6 × ( 28 ∗ 28 ) = 122 , 304
Layer 2：池化层
输入：28 × 28 × 6
池化核：平均池化，每个大小2 × 2 ，步长2
输出：14 × 14 × 6
Layer 3：卷积层
输入：14 × 14 × 6
卷积核：5 × 5 5，深度16，步长1
输出：10 × 10 × 16
参数个数：5 × 5 × 6 × 16 + 16 = 2416
连接数：( 5 ∗ 5 + 1 ) × 16 × ( 28 ∗ 28 ) = 41600
Layer 4：池化层
输入：10 × 10 × 16
池化核：平均池化，每个大小2 × 2
输出：5 × 5 × 16
Layer 5：全连接层
输入：400
输出：120
参数个数：400 × 120 + 120 = 48120
Layer 6：全连接层
输入：120
输出：84
参数个数：120 × 84 + 84 = 10164
Layer 7：全连接层
输入：84
输出：10
参数个数：84 × 10 + 84 = 850
网络中的权重个数：
Conv1：5 × 5 × 1 × 6 + 6 = 156 5
Conv2：5 × 5 × 6 × 16 + 16 = 2416
FC1：400 × 120 + 120 = 48120
FC2：120 × 84 + 84 = 10164
FC3：84 × 10 + 84 = 850
总计：61706 6170661706
