LeNet-5实现的过程
(1) 输入层。输入图像的原始像素,大小为32×32×1,即长、宽为32像素,1通道(Channels),即32×32的灰度照片。
(2)卷积层(第一层)。与输入层相连,接收32×32×1的矩阵数据,卷积核(Convolutions)大小为5×5×6,大小为5,深度为6,填充方式为“VALID”,卷积步长为1,所以根据公式(其中,w为输入尺寸;k为卷积核尺寸;p为填充数量,填充方式为“VALID”时不填充,填充方式为“SAME”时使用全0填充;s为卷积步长),可得这一层的输出尺寸为,深度为6,本层的输出矩阵大小为28×28×6。
(3)池化层(第二层)。前接第一个卷积层,接收28×28×6的矩阵数据,卷积核大小为2×2,即长和宽都是2,步长为2,填充方式为“SAME”。在原始的LeNet-5中,采用的是平均值池化,本层的输出矩阵大小为14×14×6。
(4)卷积层(第三层)。前接第一个池化层,接收14×14×6的矩阵数据,卷积核大小为5×5,深度为16,填充方式为“VALID”,步长为1。本层的输出矩阵大小为10×10×16。
(5)池化层(第四层)。前接第二个卷积层,接收10×10×16的矩阵数据,卷积核大小为2×2,即长和宽都是2,步长为2,填充方式为“SAME”。本层的输出矩阵大小为5×5×16。
(6)全连接层(第五层)。前接第二个池化层,接收5×5×16的矩阵数据,在LeNet-5原始论文中称它为卷积层,但是由于卷积核的大小也是5×5,所以其和全连接层没有区别,本层的输出节点是120个。
(7)全连接层(第六层)。前接第一个全连接层,接收120个节点输入,本层的输出节点是84个。
(8)全连接层,输出层(第七层)。前接第二个全连接层,接收84个节点输入,本层的输出节点是10个。