基于 tensorflow 的手写数字的识别（进阶） 本系列将分为 8 篇 。本次为第 8 篇 ，基于 tensorflow ，利用卷积神经网络 CNN 进行手写数字识别 。 1.引言 关于 mnist 数据集的介绍和卷积神经网络的笔记在本系列文章中已有过介绍 ，有需要可见下述两篇文章 。本系列第 5 篇曾实现利用最简单的 BP 神经网络进行手写数字识别 。本系列第 6 篇简单介绍了下卷积神经网络的知识 。 基于 tensorflow 的手写数字识别 卷积神经网络（CNN）学习笔记 2.设计的 CNN 结构 本系列第 4 讲讲过实战可以大致分为 "三步走"  ●  定义神经网络的结构和前向传播的输出结果 ●  定义损失函数以及选择反向传播优化的算法 ●  生成会话（tf.Session) 并在训练数据上反复运行反向传播优化算法这里也一样 ，当然首先是设计我们针对此实战的卷积神经网络 ，设计一个最简单的如下手绘 (还是那句话 ，字丑人帅 ，拒绝反驳) 上图得到两次卷积池化结果后 ，将结果展平为 1 维向量 ，即1 *（7*7*64），再连接到十个节点的输出层 。 3.手动干起来 ！ 首先 ，需要读取 MNIST 数据集 ，利用 TF 框架自带类进行下载读取 。 接下来就是根据之前的 “三步走” 进行实践 。实现上述的网络结构 ，并依旧选择二次代价函数和梯度下降法 。 首先 ，定义两个函数 ，用于初始化参数 。再定义两个函数实现卷积核池化（只是便于模块化 ，提高可读性）。 根据上述手绘结构图进行编程实现该结构 。 这里有一个 dropout 操作 ，目的是训练过程中使一部分神经元参数不变 ，即不参与训练 ，相当于简化结构 ，减少过拟合 。 再在会话 Session 中执行 ，并保存好模型参数 。 测试结果（小詹在按时付费的某服务器跑的结果）如下图 ： 原文发布时间为：2018-09-14 本文作者：小詹本文来自云栖社区合作伙伴“小詹学Python”，了解相关信息可以关注“小詹学Python”。

1. 回顾CNN的结构 　　　　在上一篇里，我们已经讲到了CNN的结构，包括输出层，若干的卷积层+ReLU激活函数，若干的池化层，DNN全连接层，以及最后的用Softmax激活函数的输出层。这里我们用一个彩色的汽车样本的图像识别再从感官上回顾下CNN的结构。图中的CONV即为卷积层，POOL即为池化层，而FC即为DNN全连接层，包括了我们上面最后的用Softmax激活函数的输出层。 　　　　从上图可以看出，要理顺CNN的前向传播算法，重点是输入层的前向传播，卷积层的前向传播以及池化层的前向传播。而DNN全连接层和用Softmax激活函数的输出层的前向传播算法我们在讲DNN时已经讲到了。 2. CNN输入层前向传播到卷积层 　　　　输入层的前向传播是CNN前向传播算法的第一步。一般输入层对应的都是卷积层，因此我们标题是输入层前向传播到卷积层。 　　　　我们这里还是以图像识别为例。 　　　　先考虑最简单的，样本都是二维的黑白图片。这样输入层XX就是一个矩阵，矩阵的值等于图片的各个像素位置的值。这时和卷积层相连的卷积核WW就也是矩阵。 　　　　如果样本都是有RGB的彩色图片，这样输入XX就是3个矩阵，即分别对应R，G和B的矩阵，或者说是一个张量。这时和卷积层相连的卷积核WW就也是张量，对应的最后一维的维度为3.即每个卷积核都是3个子矩阵组成。 　　　　同样的方法，对于3D的彩色图片之类的样本，我们的输入XX可以是4维，5维的张量，那么对应的卷积核WW也是个高维的张量。 　　　　不管维度多高，对于我们的输入，前向传播的过程可以表示为： a2=σ(z2)=σ(a1∗W2+b2)a2=σ(z2)=σ(a1∗W2+b2) 　　　　其中，上标代表层数，星号代表卷积，而b代表我们的偏倚, σσ为激活函数，这里一般都是ReLU。 　　　　和DNN的前向传播比较一下，其实形式非常的像，只是我们这儿是张量的卷积，而不是矩阵的乘法。同时由于WW是张量，那么同样的位置，WW参数的个数就比DNN多很多了。 　　　　为了简化我们的描述，本文后面如果没有特殊说明，我们都默认输入是3维的张量，即用RBG可以表示的彩色图片。 　　　　这里需要我们自己定义的CNN模型参数是： 　　　　1） 一般我们的卷积核不止一个，比如有K个，那么我们输入层的输出，或者说第二层卷积层的对应的输入就K个。 　　　　2） 卷积核中每个子矩阵的的大小，一般我们都用子矩阵为方阵的卷积核，比如FxF的子矩阵。 　　　　3） 填充padding（以下简称P），我们卷积的时候，为了可以更好的识别边缘，一般都会在输入矩阵在周围加上若干圈的0再进行卷积，加多少圈则P为多少。 　　　　4） 步幅stride（以下简称S），即在卷积过程中每次移动的像素距离大小。 　　　　这些参数我们在上一篇都有讲述。 3. 隐藏层前向传播到卷积层 　　　　现在我们再来看普通隐藏层前向传播到卷积层时的前向传播算法。 　　　　假设隐藏层的输出是M个矩阵对应的三维张量，则输出到卷积层的卷积核也是M个子矩阵对应的三维张量。这时表达式和输入层的很像，也是 al=σ(zl)=σ(al−1∗Wl+bl)al=σ(zl)=σ(al−1∗Wl+bl) 　　　　其中，上标代表层数，星号代表卷积，而b代表我们的偏倚, σσ为激活函数，这里一般都是ReLU。 　　　　也可以写成M个子矩阵子矩阵卷积后对应位置相加的形式，即： al=σ(zl)=σ(∑k=1Mzlk)=σ(∑k=1M(al−1k∗Wlk+blk))al=σ(zl)=σ(∑k=1Mzkl)=σ(∑k=1M(akl−1∗Wkl+bkl)) 　　　　和上一节唯一的区别仅仅在于，这里的输入是隐藏层来的，而不是我们输入的原始图片样本形成的矩阵。 　　　　需要我们定义的CNN模型参数也和上一节一样，这里我们需要定义卷积核的个数K，卷积核子矩阵的维度F，填充大小P以及步幅S。 4. 隐藏层前向传播到池化层 　　　　池化层的处理逻辑是比较简单的，我们的目的就是对输入的矩阵进行缩小概括。比如输入的若干矩阵是NxN维的，而我们的池化大小是kxk的区域，则输出的矩阵都是Nk×NkNk×Nk维的。 　　　　这里需要需要我们定义的CNN模型参数是： 　　　　1）池化区域的大小k 　　　　2）池化的标准，一般是MAX或者Average。 5. 隐藏层前向传播到全连接层 　　　　由于全连接层就是普通的DNN模型结构，因此我们可以直接使用DNN的前向传播算法逻辑，即： al=σ(zl)=σ(Wlal−1+bl)al=σ(zl)=σ(Wlal−1+bl) 　　　　这里的激活函数一般是sigmoid或者tanh。 　　　　经过了若干全连接层之后，最后的一层为Softmax输出层。此时输出层和普通的全连接层唯一的区别是，激活函数是softmax函数。 　　　　这里需要需要我们定义的CNN模型参数是： 　　　　1）全连接层的激活函数 　　　　2）全连接层各层神经元的个数  6. CNN前向传播算法小结 　　　　有了上面的基础，我们现在总结下CNN的前向传播算法。 　　　　输入：1个图片样本，CNN模型的层数L和所有隐藏层的类型，对于卷积层，要定义卷积核的大小K，卷积核子矩阵的维度F，填充大小P，步幅S。对于池化层，要定义池化区域大小k和池化标准（MAX或Average），对于全连接层，要定义全连接层的激活函数（输出层除外）和各层的神经元个数。 　　　　输出：CNN模型的输出aLaL 　　　　1) 根据输入层的填充大小P，填充原始图片的边缘，得到输入张量a1a1。 　　　　2）初始化所有隐藏层的参数W,bW,b　　 　　　　3）for ll=2 to L−1L−1: 　　　　　　a) 如果第ll层是卷积层,则输出为 al=ReLU(zl)=ReLU(al−1∗Wl+bl)al=ReLU(zl)=ReLU(al−1∗Wl+bl)  　　　　　  b) 如果第ll层是池化层,则输出为al=pool(al−1)al=pool(al−1), 这里的pool指按照池化区域大小k和池化标准将输入张量缩小的过程。 　　　　　　c) 如果第ll层是全连接层,则输出为 al=σ(zl)=σ(Wlal−1+bl)al=σ(zl)=σ(Wlal−1+bl) 　　　　4)对于输出层第L层: aL=softmax(zL)=softmax(WLaL−1+bL)aL=softmax(zL)=softmax(WLaL−1+bL)   　　　　以上就是CNN前向传播算法的过程总结。有了CNN前向传播算法的基础，我们后面再来理解CNN的反向传播算法就简单多了。下一篇我们来讨论CNN的反向传播算法。 本文转自刘建平Pinard博客园博客，原文链接：http://www.cnblogs.com/pinard/p/6489633.html，如需转载请自行联系原作者

卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（Convolutional Neural Networks-简称CNN）。 卷积神经网络在 20 世纪 90 年代就已经被广泛应用，但深度学习卷土重来的第一功臣非卷积神经网络莫属，原因之一就是卷积神经网络是非常适合计算机视觉应用的模型。 卷积在工程和数学上都有很多应用——在统计学中，加权的滑动平均是一种卷积；在概率论中，两个统计独立的变量 x 和 y 求和的概率密度函数是 x 和 y 的概率密度函数的卷积；在声学中，回声可以用原声与一个反映各种反射效应的函数相卷积来表示；在电子工程与信号处理中，任意一个线性系统的输出都可以通过将输入信号与系统函数（系统的应激响应）做卷积获得；在物理学中，任何一个线性系统（符合叠加原理）都存在卷积。 卷积提供了能够提升机器学习效果的三个重要方法：稀疏交互（Sparse Interaction）或稀疏连接（Sparse Connectivity）、参数共享（Parameter Sharing）以及等价表达（Equivariant Representation）。此外，卷积也提供了一种使得输入尺寸可变的工作方式。 一个简单的卷积网络由一系列层构成，每层都将上一层的一组隐层输出通过一个可微函数产生一组新的隐层输出。一个典型的卷积网络可以由三种类型的层构成：卷积层（Con-volutional Layer，CONV）配套 ReLU（Rectified Linear Unit，ReLU(x) = max(0,x)）、池化层（Pooling Layer，POOL）和全连接层（Fully-Connected Layer，FC，和普通神经网络一致）。 卷积层是卷积网络的核心组成部分，包含了大部分繁重的计算工作。 卷积层实现 卷积层的参数由一组可学习的卷积核（Filter）构成。每个卷积核在空间中都是小尺寸的（沿宽和高），但会穿过输入集的整个深度。例如，卷积网络第一层的卷积核尺寸通常为5×5×3（宽、高各 5 像素，深度为彩色图像的 3 个通道）或 3×3×3（宽、高各 3 像素，深度为彩色图像的 3 个通道）。 在前向传播过程中，我们在输入图像上沿宽和高的方向滑动各个卷积核（准确地讲，卷积），并在所有位置上分别计算卷积核和输入之间的点乘。当沿整个输入的宽和高方向滑动卷积核时，我们就会得到一个二维的激活映射（Activation Map），通常也称为特征图或特征映射（Feature Map），表示在每个空间位置上输入对于卷积核的响应。 直观地讲，网络将学习卷积核参数，使得在遇到某种视觉特征（如第一层某些方向上的边缘或某种颜色的斑点，或网络高层中的整个蜂窝状或轮状图案）时被激活。卷积层上的每个卷积核（如：例子 CIFAR-10 中 12 个卷积核）都会产生一个二维的激活映射，我们沿深度方向将这些激活映射排列起来，并将它们作为卷积层的输出。如图 1 所示为一个 5×5×3 的卷积核在 32×32×3 的图像上沿空间维度（宽、高）滑动，遍历空间中的所有点后便生成一个新的尺寸为 28×28×1 的特征图。如图 2 所示为另一个 5×5×3 的卷积核在 32×32×3 的图像上沿空间维度（宽、高）滑动，遍历空间中的所有点后生成另一个新的尺寸为 28×28×1的特征图。如图 3 所示则是 6 个这样的卷积核在输入图像上沿空间维度（宽、高）滑动，遍历空间中的所有点后生成 6 个尺寸为 28×28×1 的特征图，所以最终输出的特征图维度为28 × 28 × 6。 图 1 卷积层中的一个卷积核示例 图 2 卷积层中的两个卷积核示例 图 3 卷积层中的多个卷积核示例 在网络中堆叠 CONV-ReLU 结构。需要注意的是，卷积核的深度需要与输入的特征图的深度一致。如图 4 所示，第一个卷积层的卷积核尺寸为 5 × 5 × 3，其深度与输入图像（32 × 32 × 3）的深度一致；第二个卷积层的卷积核尺寸为 5 × 5 × 6，其深度就需要与第一个CONV-ReLU 输出的特征图（28 × 28 × 6）的深度一致。 图 4 后一个卷积层的卷积核大小需要与前一个卷积层输出的维度一致 如图 5 所示，通过可视化各个卷积层输出的特征图，我们看到随着卷积网络的不断加深，特征图上的响应表现出的语义层次也在不断加深。最初的卷积层通常对图像中的边缘或色斑产生较强的响应，我们认为这个部分抽取的主要是低层特征（Low-Level Feature）。此后的卷积层在低层特征基础上产生的特征图开始出现一些具有一部分语义的图形或纹理。最后的卷积层倾向于对有明确语义的目标产生强响应，认为此时具有了抽取高层特征（High-Level Feature）的能力。 图 5 卷积层可视化

1卷积神经网络的优点 卷积神经网络进行图像分类是深度学习关于图像处理的一个应用，卷积神经网络的优点是能够直接与图像像素进行卷积，从图像像素中提取图像特征，这种处理方式更加接近人类大脑视觉系统的处理方式。另外，卷积神经网络的权值共享属性和pooling层使网络需要训练的参数大大减小，简化了网络模型，提高了训练的效率。 2 卷积神经网络的架构 卷积神经网络与原始神经网络有什么区别呢，现在我分别给他们的架构图。 图 1 普通深度神经网络 图 2 卷积神经网络 哇，大家看，有什么特别的，是不是在输出层与卷积层之间有一个C/S的什么乱七八糟的的东西。其实这个就是卷积神经网络的精髓所在，他的优点不就是可以直接学习像素点，类似于人的眼睛采集信息吗。 输入层:卷积输入层可以直接作用于原始输入数据，对于输入是图像来说，输入数据是图像的像素值。 卷积层:卷积神经网络的卷积层，也叫做特征提取层，包括二个部分。第一部分是真正的卷积层，主要作用是提取输入数据特征。每一个不同的卷积核提取输入数据的特征都不相同，卷积层的卷积核数量越多，就能提取越多输入数据的特征。 第二部分是pooling层，也叫下采样层，主要目的是在保留有用信息的基础上减少数据处理量，加快训练网络的速度。通常情况下，卷积神经网络至少包含二层卷积层(这里把真正的卷积层和下采样层统称为卷积层)，即卷积层，pooling层，卷积层，pooling层。卷积层数越多，在前一层卷积层基础上能够提取更加抽象的特征。 全连接层:可以包含多个全连接层，实际上就是多层感知机的隐含层部分。通常情况下后面层的神经节点都和前一层的每一个神经节点连接，同一层的神经元节点之间是没有连接的。每一层的神经元节点分别通过连接线上的权值进行前向传播，加权组合得到下一层神经元节点的输入。 输出层:输出层神经节点的数目是根据具体应用任务来设定的。如果是分类任务，卷积神经网络输出层通常是一个分类器。 3卷积计算 卷积核类似于人眼对物体进行扫描，所以自然很重要了。其中有离散型卷积核连续性卷积。 连续型卷积： 离散型卷积： 再神经网络中的卷积操作都属于离散卷积，其实际上是一个线性运算，而不是真正意义上的卷积操作，相应的卷积核也可以称为滤波器。卷积核大小确定了图像中参与运算子区域的大小。说白了，卷积核上的参数可以当成权重，就是说，现在每个像素点，对最后的卷积结果的投票能力，权值越大，投票能力也就越大。 3.1 卷积运算和相关运算的区别 例子如下，matlab输入运算： 得到结果： 卷积运算： 得到结果： 从中可以看出，卷积计算其实就是相关计算翻转180°，为什么要这样呢。 相关计算公式： 相关顾名思义就是计算，两个变量之间的相关关系，而卷积则是某个信号对整个系统所产生的影响。 两者相同点是：都是将两个函数映射到一个函数的函数 (f,g)->h。过程也很类似，卷积 是在先将一个函数反转以后进行 滑动相关。 不同点： 1、卷积是对称的 conv(f,g)=conv(g,f)。而滑动相关不对称，ccorr(f,g)~=ccorr(g,f)。 2、卷积是两个系统作用时的响应，（由于对称性，谁作用于谁并不本质）。 滑动相关是衡量两个函数相似度，与相对位置之间的关系。 3、信号处理上卷积可以进行局部操作（就是滤波），例如图像的高斯模糊。系统响应分析。 滑动相关一般用来进行特征检测，比如图像特征提取 3.2 卷积过程 上述图表示，卷积过程，首先输入原始图像，然后用f(x)这个卷积核进行卷积，在加一个偏置，然后用激活函数进行非线性映射，得到初步的卷积结果，现在激活函数一般都用relu，sigmoid用的都比较少了。 3.3下采样过程 既然图像经过卷积之后我们是不是就要用分类器进行分类了呢，显然是不行的，你想一个图像辣么大，网络的训练速度一定会很慢的吧，过拟合肯定也不用说了。那么我们的前辈想到的肯定是降维啊，但是这里我们不叫降维，而是叫下采样，当然降维是我理解的，也不知道准确与否。 下采样就是利用图像的静态性。对相邻的地方进行聚合统计，打个比方就是你额头的地方肯定和你额头的地方很像吧，耳朵也和你耳朵很像吧。 另外，图像的下采样具有不变性。如果下采样区域为特征映射的连续区域，那么得到的下采样单元具有平移不变性，比如图像经过一个小的平移处理后，同样会得到相同的(下采样)特征。在实际应用中，比如物体检测，声音识别等应用中，都希望系统具有平移不变性的特征，因为具有平移不变特征后，即使样本经过平移处理后，标记依然能够被系统识别。 综上所述，下采样的主要作用是: 1、降低图像分辨率;（我理解就是，分辨率越高反而不利于分类，肯定过拟合啊） 2、减少运算数据量; 3、增强网络对图像变化的适应性。 3.4局部连接和权值共享 局部连接与全局连接：   大家看，假设我们爱因斯坦图片是1000x1000像素的图片，那就是一百万的像素点，输入的维度也是一百万，在连接一个相同大小的隐藏层，那么就是一万亿个连接，那还训练个毛线啊，所以我们必须减少权重的数量。 插播一段小广告，来自于百度回答。 上述的回答说白了，就是猫猫的视觉神经中，每一个感受野只接受一小块的区域的信号，对其他东西是不感冒的。那么是不是就启发我们的卷积神经网络了？ 局部连接就是根绝上述思想而来的。每一个神经元不需要接收全部像素点的信息，只需要接收局部的像素点进行输入。然后在把所有信息综合起来，那么就可以得到全局信息了。假设感受野大小是10x10，那么是不是就只需要10x10x100=1亿个连接了？   但是呢一亿个好像还是有点大，现在假设我们每个隐藏节点的神经元参数都是一样的，那么参数就只有100个参数，也就是每一个过程就只有10x10那一百个参数。这样整个模型的复杂度就降下来了。（其实我这里一直认为，给每个神经元适当的权重还是不错的，毕竟有的特征（像素）肯定对分类效果影响比较大吧） 这样我们的卷积神经网络特征就构建完毕了。卷积核越多就可以构建更多的高阶特征。 高阶特征类似于这样，这也符合人类看物体的习惯，因为在人的视网膜里物体无非都是边边线线的组合，这些高阶特征经过组合就编程了物体的大致形状。完全不合小样本的概念：比如一个鼠标你只要看过这样的： 那么下次你在见过这样的，你一定知道他是鼠标，无论他多么绚丽，因为在你的脑海里，已经有诸多的高阶特征构成了鼠标，所以分类效果当然very good。 我可没有打广告哦.... 4 光说不练假把式，光练不说傻把式。 我们现在来看一下具体的实验效果吧。 本文转自xsster51CTO博客，原文链接： http://blog.51cto.com/12945177/1950786，如需转载请自行联系原作者

第一章 引言 一、本文动机 过去几年，计算机视觉研究主要集中在卷积神经网络上（通常简称为 ConvNet 或 CNN），在大量诸如分类和回归任务上已经实现了目前为止最佳的表现。尽管这些方法的历史可以追溯到多年前，但相对而言，对这些方法的理论理解及对结果的解释还比较浅薄。 实际上，计算机视觉领域的很多成果都把 CNN 当作了一种黑箱，这种方式虽然有效的，但对结果的解释却是模糊不清的，这也无法满足科学研究的需求。尤其是当这两个问题是互补关系时： 学习的方面（比如卷积核），它到底学习到的是什么？模型结构设计方面（比如卷积层数量、卷积核数量、池化策略、非线性函数的选择），为什么某些组合会优于其他组合呢？求解这些问题的答案，不仅有利于我们更好地理解卷积神经网络，而且还能进一步提升它的工程实用性。此外，当前 CNN 的实现方法都需要大量训练数据，而且模型的设计方案对最终的结果有很大的影响。而更深层的理论理解应该减轻模型对数据的依赖性。尽管大量的研究已经集中在卷积神经网络的实现方式，但目前为止，这些研究结果很大程度上还只局限在对卷积操作内部处理的可视化上，目的是为了理解卷积神经网络中不同层的变化情况。 二、本文目标 针对以上问题，本文将综述几种当前最优秀的多层卷积结构模型。更重要的是，本文还将通过不同方法来总结标准卷积神经网络的各种组件，并介绍它们所基于的生物学或合理的理论基础。此外，本文还将介绍如何通过可视化方法及实例研究来尝试理解卷积神经网络内部的变化情况。我们的最终目标是向读者详细展示卷积神经网络中所涉及到的每一个卷积层操作，着重强调当前最先进的卷积神经网络模型并说明未来仍需解决的问题。 第二章 多层网络结构 近年来，在深度学习或深层神经网络取得成功前，计算机视觉识别系统最先进的方法主要由两个步骤组成，这两个步骤各自分离但又互补： 首先，我们需要通过人工设计操作（如卷积、局部或全局编码方法）将输入数据转换成合适的形式。这种输入的变换形式，通常是为了得到输入数据的一种紧凑或抽象的表征，同时还要根据当前任务的需要手动设计一些不变量。通过这种转换，我们能够将输入数据表征成一种更容易分离或识别的形式，这有助于后续的识别分类。其次，转换后的数据通常作为分类器（如支持向量机）训练的输入信号。通常而言，任何分类器的表现都会受到变换后的数据质量及所使用的变换方法的影响。多层神经网络结构的出现为解决这一问题带来了新的方式，这种多层结构不仅能够训练目标分类器，还能从输入数据中直接学习所需的变换操作。这种学习方式通常称为表征学习，当将其应用在深度或多层神经网络结构中时，我们称之为深度学习。 多层神经网络定义为是一种从输入数据的层次抽象表征中提取有用信息的计算模型。一般而言，设计多层网络结构的目标是为了在高层凸显输入数据的重要信息，同时能让那些不太不重要的信息变化更具鲁棒性。 近年来，研究者已经提出了很多不同类型的多层架构，而大多数的多层神经网络都是以堆叠的方式，将一些线性和非线性函数模块组合形成多层结构。本章将会覆盖计算机视觉应用中最先进的多层神经网络结构。其中，人工神经网络是我们需要的关注重点，因为这种网络结构的表现非常突出。为了方便起见，在下文我们会直接将这类网络称为神经网络。 一、神经网络 标准的神经网络结构通常由输入层 x，输出层 y 和多个隐藏层 h 堆叠而成，其中每个层还由多个单元组成，如下图所示。通常，每个隐藏单元 hj 接受上一层所有单元的输入，并将其加权组合，其非线性组合的数学形式如下： wij 是权重值，用于控制输入单位和隐藏单位之间连接的强度，bj 是隐藏单位的偏置，F 是非线性函数，如 Sigmoid 函数。 深度神经网络可以被视为是 Rosenblatt 感知器及多层感知器的实例。 尽管神经网络模型已经存在多年（即自 1960 年代以来），但它们并未被广泛使用。造成这种的原因有很多，最主要的原因是感知器无法模拟像 XOR 这样的简单操作而被外界否定，这也进一步阻碍了研究人员对感知器的研究。 直到最近，一些研究人员将简单感知器扩展到多层神经网络模型。 此外，缺乏适当的训练算法也会延缓感知度的训练进度，而反向传播算法的提出也使得神经网络模型得以普及。更重要的是，多层神经网络结构依赖于大量的参数，这就意味着我们需要大量的训练数据和计算资源来支持模型训练及学习参数过程。 标准神经网络结构示意图 受限波尔茨曼机（RBM）的提出是深层神经网络领域的一大重要贡献。受限玻耳兹曼机可以看作是两层的神经网络，只允许网络以前馈连接的方式堆叠。而神经网络可以看作是使用受限波尔茨曼机进行分层无监督预训练的一种模型，在图像识别任务中，这种无监督学习方法主要包括三个步骤： 首先，对于图像中的每个像素，对 xi 及初始化的 wij、偏置 bj、隐藏层状态 hj，其概率可以被定义为： 其中，σ（y）= 1 /（1 + exp（-y））。 其次，如上式所示，一旦所有的隐藏状态都被随机设定，我们可以根据概率 将每个像素设定为 1，并以此重建图像。然后，隐藏单元将通过重建的权重和偏差来更新校正单位的误差： 其中，α 是学习率，（xihj）表示隐藏单元 hj 中像素 xi 出现的次数。整个训练过程将重复 N 次或直到误差下降到预设的阈值 τ。训练完一层后，使用它的输出作为下一层的输入，然后接着重复上述过程训练下一层。通常，网络中的所有层经过预训练后，它们还将通过梯度下降的方式，反向传播误差来进一步微调标记数据。使用这种分层无监督预训练的方式可以不需大量标记数据的情况下，训练深层神经网络结构。因为利用受限波尔茨曼机进行无监督预训练，能够为模型参数的初始化提供了一种有效途径。受限波尔茨曼机的第一个成功应用案例是用于人脸识别的降维，它们被当作是一种自编码器。 自动编码器主要是通过引入不同的正则化方法来防止模型学习一些无关紧要的数据特征。目前一些比较优秀的编码器包括稀疏自编码器、去噪自编码器（DAE）和压缩自编码器（CAE）等。稀疏自编码器允许中间编码表示的大小（即由输入生成编码器）大于输入的大小，同时通过稀疏表示来正则化负相的输出。相反，去噪自编码器改变了编码重建本身的目标，试图重建一个干净、不带噪声的输入版本，得到一个更加强大的表示。类似地，压缩自编码器是通过惩罚噪声中最敏感的单位来实现类似去噪自编码器的过程。 标准的自编码器结构 二、循环神经网络 循环神经网络是处理序列数据相关任务最成功的多层神经网络模型（RNN）。 RNN，其结构示意图如下图所示，它可以看作是神经网络的一种特殊类型，隐藏单元的输入由当前时间步所观察到的数据中获取输入以及它在前一个时间步的状态组合而成。 循环神经网络的输出定义如下： 其中 σ 表示一些非线性函数，wi 和ui 是网络参数，用于控制当前和过去信息的相对重要性。 标准的循环神经网络结构示意图 每个循环单元的输入将由当前时刻的输入 xt 及上一时刻 ht-1 组成，新的输出表示可通过上式计算得到，并传递给循环神经网络中的其他层。 虽然循环神经网络是一类强大的多层神经网络模型，但其的主要问题是模型对时间的长期依赖性，由于梯度爆炸或梯度消失，这种限制将导致模型训练过程在网络回传过程中误差的不平稳变化。为了纠正这个困难，引入了长短期记忆网络（LSTM）。 长短期记忆网络（LSTM）的结构示意图下图所示，拥有存储单元或记忆单元，随着时间的推移存储记忆信息。LSTM 的存储单元是通过门控机制从中读取信息或写入信息。 值得注意的是，LSTM 还包含遗忘门，即网络能够删除一些不必要的信息。总的来说， LSTM 的结构主要包含有：三个控制不同的门（输入门、遗忘门及输出门），以及存储单元状态。 输入门由当前输入 xt 和前一个状态 ht-1 控制，它的定义如下： 其中，wi,ui,bi 表示权重和偏差项，用于控制与输入门相关的权重，σ 通常是一个 Sigmoid 函数。类似地，遗忘门定义如下： 相应地，权重和偏差项由 wf,uf,bf 控制。 可以说，LSTM 最重要的一点是它可以应对梯度消失或梯度爆炸时网络中误差传播不平稳的挑战。这种能力的实现是通过遗忘门和输入门的状态进行加法结合来确定存储单元的状态。 标准的长短期记忆网络结构示意图 每个循环单元的输入将由当前时刻的输入 xt 及上一时刻 ht-1 组成，网络的返回值将馈送到下一时刻 ht。LSTM 最终的输出由输入门 it，遗忘门 ft 及输出门 ot 和记忆单元状态 ct 共同决定。 三、卷积神经网络 卷积网络（ConvNets）是一种特殊的神经网络类型，其特别适合计算机视觉应用，因为它们对于局部操作有很强的抽象表征能力。推动卷积神经网络结构在计算机视觉中成功应用的两个关键性的因素： 第一，卷积神经网络能够利用图像的 2D 结构和图像相邻像素之间的高度相关性，从而避免在所有像素单元之间使用一对一连接（即如同大多数全连接的神经网络），这有利于使用分组的局部连接。此外，卷积神经网络结构依赖于特征共享原则，正如下图所示，每个通道的输出（或输出的特征映射）都是通过所有位置的相同滤波器的卷积生成。相比于标准的神经网络结构，卷积神经网络的这个重要特性依赖于很少的模型参数。 标准的卷积神经网络结构示意图 第二，卷积神经网络还引入一个池化步骤，在一定程度上保证了图像的平移不变性，这使得模型不受位置变化的影响。还值得注意的是，池化操作使得网络拥有更大的感受野，从而能够接受更大的输入。感受野的增大，将允许网络在更深层学习到更加抽象的特征表征。例如，对于目标识别任务，卷积网络中的浅层将学习到图像的一些边、角特征，而在更深层能够学习到整个目标的特征。 卷积神经网络的结构最早是受生物视觉机制启发而设计的，正如 Hube 在其开创性的研究中所描述的人类视觉皮层的工作原理。随后，Fukushima 提出的神经感知器（Neocognitron）是卷积神经网络的前身，它依赖局部连接的方式，由 K 层神经网络层级联而成，每层神经网络由 S-cell 单元，U sl 及复杂的单元相间分布而成，这种交替分布的形式是模仿生物简单细胞中的处理机制而设计的，其结构示意图如下图所示。 神经感知器结构示意图 此外，在卷积操作后都会跟随一个非线性变化单元，常见的非线性函数是修正线形单元 ReLu，其数学表达式如下： 在非线性变换后，通常会引入池化单元。平均池化操作是常用的池化操作之一，通过平均化感受野中的像素值，来综合考虑周围像素的特征。而最大池化则是用来提取相邻像素间最重要的特征信息，避免模型学习到一些无关紧要的特征。经典的卷积网络由四个基本处理层组成： 卷积层、非线性变换层、归一化层及池化层。 近年来，在计算机视觉领域中所应用的卷积神经网络结构，大多是基于 Lecun 在 1998 年提出的用于手写字母识别的 LeNet 卷积模型结构。LeNet 的一个关键是加入反向传播过程来更有效地学习卷积参数。与全连接神经网络相比，虽然卷积神经网络有其独特的优势，但其对于标签数据的严重依赖性，也是其未被广泛使用的主要原因之一。直到 2012 年，随着大型 ImageNet 数据集的发布及计算能力的提高，人们重新恢复对卷积神经网络的研究兴趣。 三、生成对抗网络 生成对抗网络是 2014 年首次引入的一种新型多层神经网络模型，这种模型结构充分体现了多层网络架构的强大性。虽然生成对抗网络并没有多种不同的网络构建模块，但这种网络结构具有一些特殊性，最关键的是引入了无监督学习方式，使得模型的训练学习不再依赖大量的标记数据。 一个标准的生成对抗模型主要由两部分子网络组成：生成网络 G 和判别网络 D，如下图所示，两个子网络都是预先定义好的多层网络结构（最初提出的模型中二者都是多层全连接网络）。经过交替对抗训练，判别网络的目标是鉴别生成网络的生成数据标签与真实数据标签之间的真伪，而生成网络的目标是生成更加优化的数据，以 “欺骗”判别网络，训练的最终结果是使得生成的数据达到以假乱真的目的。 通用的生成对抗网络结构示意图 生成对抗网络自提出以来，因其强大的多层网络结构及独特的无监督学习方式，得到了广泛的关注和研究。GAN 的成功应用包括：文本到图像合成（其中网络的输入是要呈现图像的文字描述）；超分辨率图像的生成，即用较低分辨率的输入生成逼真的高分辨率图像；图像修复，即用 GAN 来生成来自输入图像中的缺失信息；纹理合成，即从输入噪声中生成逼真的纹理特征。 四、多层网络的训练 如前所述，当前各种多层神经网络结构所取得的成功，在很大程度上取决于网络训练学习过程的进步。通常，神经网络的训练首先需要进行多层无监督预训练，随后，将预训练好的模型进行有监督训练，训练过程都是基于梯度下降的反向传播原则，通过反向传播网络误差，来更正修正模型的参数值，从而优化网络结构及输出结果。 五、迁移学习 多层神经网络结构的一大益处是在跨数据集甚至跨不同任务中，模型所学得的特征具有通用的适用性。在多层网络结构中，随着层次的增加，所学得的特征表征通常也是从简单到复杂、从局部到全局发展。因此，在低层次提取的特征往往适用于多种不同任务，这使得多层结构更容易进行迁移学习。 空间卷积神经网络 理论上，卷积神经网络可以应用于任意维度的数据，特别适用于二维的图像数据，因此卷积结构在计算机视觉领域受到了相当关注。随着可用的大规模数据集和强大的计算机能力的发展，卷积神经网络在计算机视觉领域的应用也日益增长。本节我们将介绍几种最突出的卷积神经网络结构，包括 AlexNet,VGGNet,GoogleNet,ResNet,DenseNet 等，其结构示意图依次如下，这些体系结构都是基于原始的 LeNet 发展起来的。 AlexNet 模型结构示意图。值得注意的是，这种结构由两个分支网络构成，分别在两个不同的 GPU 上并行训练。 GoogleNet 模型结构示意图。该模型由多个 Inception 模块构成。 ResNet 模型结构示意图。该模型由多个残差模块构成。 DenseNet 模型结构示意图。该模型由多个密集模块堆叠而成。 一、卷积神经网络的不变形 使用卷积神经网络的一大挑战是需要非常大的数据集来训练并学习模型的所有基本参数。但即便是当前大规模的数据集，如 ImageNet 拥有超过一百万张图像数据的数据集，仍然无法满足深层卷积结构训练的需要。通常，在模型训练前，我们会通过数据增强操作来处理数据集：即通过随机翻转、旋转等操作来改变图像，从而增加数据样本的数量。 这些数据增强操作的主要优点是使得网络对于各种图像转换更加鲁棒，这项技术也是 AlexNet 取得成功的主要原因之一。因此，除了上述改变网络架构以简化训练的方法之外，其他的研究工作旨在引入新颖的模块结构来更好的训练模型。处理不变性最大化的一种优秀结构是空间变换网络（STN）。具体的说，这种网络结构使用了一个新颖的学习模块，增加了模型对不重要空间变换的不变性，例如， 在物体识别过程中那些由不同视点引起的变换。该模型结构由三个子模块组成：一个定位模块，一个网格生成模块和一个采样模块，如下图所示。 空间变换网络结构示意图 二、卷积神经网络中的目标定位问题 除了简单的目标识别分类任务，近年来卷积结构在目标精准定位的任务中同样表现出色，如目标检测、语义分割任务等。全卷积网络（FCN）是其中最成功的卷积结构之一，主要用于图像语义分割。顾名思义，FCN 并未使用全连接层，而是将它们转换为卷积层，其感受野范围覆盖整个卷积层的底层特征图。更重要的是，网络通过学习一个上采样或者去卷积滤波器，可以恢复最后一层图像的全分辨率，其结构示意图如下图所示。 全卷积网络结构示意图。经过上采样操作，在模型最后一层得到全分辨率的特征图，适用 softmax 将每个像素分类，并生成最终的分割结果。 在 FCN 中，语义分割问题被转化成一个密集的逐像素分类问题，通过投射来实现。换句话说，每个像素都与 softmax 层关联，通过像素逐类分组来实现图像的语义分割。更值得注意的是，在这项工作中对较低结构层的特征适用上采样操作，起着至关重要作用。由于较低层特征更倾向于捕捉更精细化的细节，因此上采样操作允许模型进行更精确的分割。此外，反卷积滤波器的一种替代方案是使用扩张卷积，即上采样稀疏滤波器，这有助于在保持参数数量的同时，模型能够学习到更高分辨率的特征图。 R-CNN 是最早用于目标检测任务的卷积结构，这是一种带区域建议的卷积神经网络（RPN），在最初的目标检测任务中取得了最先进的检测结果，特别是使用区域建议的选择性搜索算法来检测可能包含目标的潜在区域，并将这些建议区域做一些变换以便匹配卷积结构的输入大小，经卷积神经网络中特征提取后，最终送入 SVM 中进行分类，并通过非极大值抑制后处理步骤中优化模型的表现。 随后，Fast R-CNN,Faster R-CNN,Mask R-CNN 等目标检测模型的提出都是基于最初的 R-CNN 结构。可以说，卷积神经网络在目标检测方面的应用是围绕 R-CNN 结构展开。 时域卷积神经网络 如上所述，卷积神经网络在计算机视觉二维空间的应用中所取得的显着性能，引发了人们对 3D 时空应用的研究。许多文献中提出的时域卷积结构通常只是试图从空间域（x，y）扩展到时间域（x，y，t）的二维卷积结构。而时域神经网络结构有三种不同的形式：基于 LSTM 的时域卷积网络、3D 卷积神经网络和双流卷积神经网络，其模型结构示意图如下图。 基于 LSTM 的时域卷积神经网络。该模型中，由视频流的每帧数据构成模型的输入。 双流卷积神经网络。该模型以 RGB 光流数据作为输入。 总结 相比于手动设计的特征或浅层的特征表示，多层卷积结构是当前计算机视觉领域最先进、最具吸引力的结构之一。总体而言，大多数模型结构都是基于四个共同的构件块，即卷积、非线性单元、归一化和池化操作。虽然这些优秀的卷积模型在大多数计算机视觉任务中取得了最优性能，但它们共同的缺点仍然是对卷积内部操作、特征表征的理解相当有限，依赖于大规模的数据集和模型训练过程，缺乏精确的性能界限和超参数选择的清晰度。这些超参数包括滤波器的大小、非线性函数、池化操作参数以及模型层数的选择。接下来我们将进一步讨论卷积神经网络设计过程中这些超参数的选择。 第三章 理解卷积神经网络的构建模块 考虑到卷积神经网络领域还存在大量未解决的问题，在本章我们将探讨一些典型案例中卷积网络的每一层处理操作的作用及意义，尤其我们将从理论和生物学角度给出合理解释。 一、卷积层 卷积神经网络的核心层是卷积层，这是模型最重要的一步。总的来说，卷积是一种线性的、具有平移不变性的运算，它是通过局部加权输入信号来实现的。权重集合是根据点扩散函数（point spread function）来确定的，不同的权重函数能够反映出输入信号的不同性质。 在频率域中，与点扩散函数相关联的是调制函数，这表明了输入的频率组分可以通过缩放和相移来进行调制。因此，选择合适的卷积核，将有助于模型获取输入信号中最显著、最重要的特征信息。 二、非线性单元 多层神经网络通常是高度的非线性模型，而修正单元（rectification）通常将引入一个非线性函数（也被称为激活函数），即将非线性函数应用到卷积层输出中。引入修正单元的目的，一方面是为了最好的、最合适的模型解释；另一方面是为了让模型能更快和更好地学习。常用的非线性函数主要包括 Logistic 函数、tanh 函数、Sigmoid 函数、ReLU 及其变体 LReLU,SReLU,EReLU 等，其函数图像如下图所示。 多层网络结构中的非线性激活函数 三、归一化 如上所述，由于这些多层网络中存在级联的非线性运算，因此多层神经网络都是高度的非线性模型。除了上面讨论的修正非线性单元外，归一化（normalization）同样是卷积神经网络结构中重要的非线性处理模块。最广泛使用的归一化形式即所谓的局部响应归一化操作（LRN,Local Response Normalization）。此外，还有诸如批归一化(batch normalization)，分裂归一化（divisive normalization）等。 四、池化操作 几乎所有的卷积神经网络，都包含池化操作。池化操作是为了提取特征在不同位置和规模上的变化，同时聚合不同特征映射的响应。正如卷积结构中前三个组份，池化操作也是受到生物学启发和理论支持而提出的。 平均池化和最大池化是两个最广泛使用的池化操作，其池化效果依次如下图所示。 第四章 当前研究状态对卷积神经网络结构中各组作用的阐述凸显了卷积模块的重要性，这个模块主要用于捕获最抽象的特征信息。相对而言，我们对卷积模块操作的理解却很模糊，对其中繁琐的计算过程的理解并不透彻。本章我们将尝试理解卷积网络中不同层所学习的内容及不同的可视化方法。同时，我们还将重点展望这些方面仍待解决的问题。 一、当前趋势 尽管各种优秀的卷积模型在多种计算机视觉应用中取得了最优表现，但在理解这些模型结构的工作方式及探索这些结构的有效性方面的研究进展仍相当缓慢。如今，这个问题已经引起了众多研究者的兴趣，为此很多研究提出用于理解卷积结构的方法。 总的来说，这些方法可以分成三个方向：对所学习到的过滤器和提取的特征图进行可视化分析、受生物视觉皮层理解方法所启发的消融学习（ablation study）、以及通过引入主成分分析法设计并分析网络最小化学习过程，我们将简要概述这三种方法。 卷积的可视化分析卷积可视化的第一种方法是以数据集为中心的方法，因为卷积操作依靠从数据集输入来探测网络在网络中找到最大响应单元。这种方法的第一个应用是反卷积（DeConvNet）。其中可视化是分两步实现： 首先，一个卷积结构接收来自数据集 a 的几个图像并记录数据集中输入的特征映射最大响应；其次，这些特征地图使用反卷积结构，通过反转卷积操作模块，将卷积操作中学习到的滤波器特征进行转置来执行“解卷积”操作，从而实现卷积的可视化分析。反卷积操作的示意图如下图所示： 反卷积构建模块 卷积可视化的第二种方法称为以网络为中心的方法，因为它仅使用网络参数而不需要任何用于可视化的数据。这种方法首次应用于深层置信网络的可视化分析中，后来才应用于卷积网络结构中。具体地说，这种卷积可视化是通过合成图像来实现的，该图像将最大化某些神经元（或过滤器）的响应。 卷积的消融学习另一种流行的可视化方法是使用所谓的网络消融研究。实际上，许多著名的卷积结构都包括模型消融研究实验部分，其目的是隔离卷积结构的不同部分组成网络，来查看删除或添加某些模块如何模拟整体的性能。消融研究能够指导研究者设计出性能更优的网络结构。 卷积结构的控制设计理解卷积结构的另一种方法是在网络设计时添加先验知识，从而最大限度地减少所需学习的模型参数。例如，一些方法是减少每层卷积层所需学习的过滤器数量，并用转换后的版本在每一层中学习的滤波器来模拟旋转不变性。 其他方法依赖于用基础集合代替过滤器的学习过程，而不是学习过滤器参数，它们的目标是学习如何组合基础集合，以便在每一层形成有效的过滤器。此外，还有一些方法，是通过完全手工设计卷积网络，并针对特定的任务在网络设计阶段加入特定的先验知识，如此设计出可解释的网络。 二、待解决问题 通过上述内容，我们总结了卷积模型一些关键技术以及如何更好地理解卷积结构的方法。下面，我们将进一步讨论在卷积模型领域仍待解决的一些问题。 基于卷积可视化的研究方法仍待解决的几个关键问题： 首先，开发更加客观的可视化评价方法是非常重要的，可以通过引入评价指标来评估所生成的可视化图像质量或含义来实现。此外，尽管看起来以网络为中心的卷积可视化方法更有前景（因为它们在生成可视化结果过程中不依赖模型结构自身），但也缺乏一套标准化的评估流程。一种可能的解决方案是使用一个评估基准来评价同样条件下生成的网络可视化结果。这样的标准化方法反过来也能实现基于指标的评估方法，而不是当前的解释性分析。另一个可视化分析的发展方向是同时可视化网络的多个单元，以更好地理解模型中特征表征的分布情况，甚至还能遵循一种控制方法。基于 ablation study 的研究方法仍待解决的几个关键问题： 使用共同的、系统性组织的数据集。我们不仅要解决计算机视觉领域常见的不同挑战（比如视角和光照变化），还必须要应对复杂度更大的类别问题（如图像纹理、部件和目标复杂度等）。近年来，已经出现了一些这样的数据集。在这样的数据集上，使用 ablation study，辅以混淆矩阵分析，可以确定卷积结构中出错的模块，以便实现更好的理解卷积。此外，分析多个协同的 ablation 对模型表现的影响方式，是一个很受关注的研究方向。这样的研究也能有助于我们理解独立单元的工作方式。相比于完全基于学习的方法，还有一些受控方法能让我们对这些结构的运算和表征有更深入的理解，因而具有很大的研究前景。这些有趣的研究方向包括： 逐层固定网络参数及分析对网络行为的影响。例如，基于当前特定任务的先验知识，一次固定一层的卷积核参数，以分析每一卷积层中卷积核的适用性。这个逐层渐进式的学习方式有助于揭示卷积学习的作用，还可用作最小化训练时间的初始化方法。类似地，可以通过分析输入的特征来研究网络结构的设计（如层的数量或每层中过滤器数量的选择方案），这种方法有助于设计出最适合模型结构。最后，将受控方法应用于网络的同时，可以对卷积神经网络的其它方面的作用进行系统性的研究。通常，我们重点关注的是模型所学习的参数，所以对这方面得到的关注较少。例如，我们可以在固定大多数参数的情况下，研究各种池化策略和残差连接的作用。 原文发布时间为：2018-05-4 本文来自云栖社区合作伙伴“数据派THU”，了解相关信息可以关注“数据派THU”。

前两个笔记笔者集中探讨了卷积神经网络中的卷积原理，对于二维卷积和三维卷积的原理进行了深入的剖析，对 CNN 的卷积、池化、全连接、滤波器、感受野等关键概念进行了充分的理解。本节内容将继续秉承之前 DNN 的学习路线，在利用 Tensorflow 搭建神经网络之前，先尝试利用 numpy 手动搭建卷积神经网络，以期对卷积神经网络的卷积机制、前向传播和反向传播的原理和过程有更深刻的理解。 单步卷积过程 在正式搭建 CNN 之前，我们先依据前面笔记提到的卷积机制的线性计算的理解，利用 numpy 定义一个单步卷积过程。代码如下： def conv_single_step(a_slice_prev, W, b): s = a_slice_prev * W # Sum over all entries of the volume s. Z = np.sum(s) # Add bias b to Z. Cast b to a float() so that Z results in a scalar value. Z = float(Z + b) return Z 在上述的单步卷积定义中，我们传入了一个前一层输入的要进行卷积的区域，即感受野 a_slice_prev，滤波器 W，即卷积层的权重参数，偏差 b，对其执行 Z=Wx+b 的线性计算即可实现一个单步的卷积过程。 CNN前向传播过程：卷积 正如 DNN 中一样，CNN 即使多了卷积和池化过程，模型仍然是前向传播和反向传播的训练过程。CNN 的前向传播包括卷积和池化两个过程，我们先来看如何利用 numpy 基于上面定义的单步卷积实现完整的卷积过程。卷积计算并不难，我们在单步卷积中就已经实现了，难点在于如何实现滤波器在输入图像矩阵上的的扫描和移动过程。 这其中我们需要搞清楚一些变量和参数，以及每一个输入输出的 shape，这对于我们执行卷积和矩阵相乘至关重要。首先我们的输入是原始图像矩阵，也可以是前一层经过激活后的图像输出矩阵，这里以前一层的激活输出为准，输入像素的 shape 我们必须明确，然后是滤波器矩阵和偏差，还需要考虑步幅和填充，在此基础上我们基于滤波器移动和单步卷积搭建定义如下前向卷积过程： def conv_forward(A_prev, W, b, hparameters): """ Arguments: A_prev -- output activations of the previous layer, numpy array of shape (m, n_H_prev, n_W_prev, n_C_prev) W -- Weights, numpy array of shape (f, f, n_C_prev, n_C) b -- Biases, numpy array of shape (1, 1, 1, n_C) Z -- conv output, numpy array of shape (m, n_H, n_W, n_C) hparameters -- python dictionary containing "stride" and "pad" Returns: cache -- cache of values needed for the conv_backward() function """ # 前一层输入的shape (m, n_H_prev, n_W_prev, n_C_prev) = A_prev.shape # 滤波器权重的shape (f, f, n_C_prev, n_C) = W.shape # 步幅参数 stride = hparameters['stride'] # 填充参数 pad = hparameters['pad'] # 计算输出图像的高宽 n_H = int((n_H_prev + 2 * pad - f) / stride + 1) n_W = int((n_W_prev + 2 * pad - f) / stride + 1) # 初始化输出 Z = np.zeros((m, n_H, n_W, n_C)) # 对输入执行边缘填充 A_prev_pad = zero_pad(A_prev, pad) for i in range(m): a_prev_pad = A_prev_pad[i, :, :, :] for h in range(n_H): for w in range(n_W): for c in range(n_C): # 滤波器在输入图像上扫描 vert_start = h * stride vert_end = vert_start + f horiz_start = w * stride horiz_end = horiz_start + f # 定义感受野 a_slice_prev = a_prev_pad[vert_start : vert_end, horiz_start : horiz_end, :] # 对感受野执行单步卷积 Z[i, h, w, c] = conv_single_step(a_slice_prev, W[:,:,:,c], b[:,:,:,c]) assert(Z.shape == (m, n_H, n_W, n_C)) cache = (A_prev, W, b, hparameters) return Z, cache 这样，卷积神经网络前向传播中一个完整的卷积计算过程就被我们定义好了。通常而言，我们也会对卷积后输出加一个 relu 激活操作，正如前面的图2所示，这里我们就省略不加了。 CNN前向传播过程：池化 池化简单而言就是取局部区域最大值，池化的前向传播跟卷积过程类似，但相对简单一点，无需执行单步卷积那样的乘积运算。同样需要注意的是各参数和输入输出的 shape，因此我们定义如下前向传播池化过程： def pool_forward(A_prev, hparameters, mode = "max"): """ Arguments: A_prev -- Input data, numpy array of shape (m, n_H_prev, n_W_prev, n_C_prev) hparameters -- python dictionary containing "f" and "stride" mode -- the pooling mode you would like to use, defined as a string ("max" or "average") Returns: A -- output of the pool layer, a numpy array of shape (m, n_H, n_W, n_C) """ # 前一层输入的shape cache -- cache used in the backward pass of the pooling layer, contains the input and hparameters (m, n_H_prev, n_W_prev, n_C_prev) = A_prev.shape # 步幅和权重参数 f = hparameters["f"] stride = hparameters["stride"] # 计算输出图像的高宽 n_H = int(1 + (n_H_prev - f) / stride) n_W = int(1 + (n_W_prev - f) / stride) n_C = n_C_prev # 初始化输出 A = np.zeros((m, n_H, n_W, n_C)) for i in range(m): for h in range(n_H): for w in range(n_W): for c in range (n_C): # 树池在输入图像上扫描 vert_start = h * stride vert_end = vert_start + f horiz_start = w * stride horiz_end = horiz_start + f # 定义池化区域 a_prev_slice = A_prev[i, vert_start:vert_end, horiz_start:horiz_end, c] # 选择池化类型 if mode == "max": A[i, h, w, c] = np.max(a_prev_slice) elif mode == "average": A[i, h, w, c] = np.mean(a_prev_slice) cache = (A_prev, hparameters) assert(A.shape == (m, n_H, n_W, n_C)) return A, cache 由上述代码结构可以看出，前向传播的池化过程的代码结构和卷积过程非常类似。 CNN反向传播过程：卷积 定义好前向传播之后，难点和关键点就在于如何给卷积和池化过程定义反向传播过程。卷积层的反向传播向来是个复杂的过程，Tensorflow 中我们只要定义好前向传播过程，反向传播会自动进行计算。但利用 numpy 搭建 CNN 反向传播就还得我们自己定义了。其关键还是在于准确的定义损失函数对于各个变量的梯度： 由上述梯度计算公式和卷积的前向传播过程，我们定义如下卷积的反向传播函数： def conv_backward(dZ, cache): """ Arguments: dZ -- gradient of the cost with respect to the output of the conv layer (Z), numpy array of shape (m, n_H, n_W, n_C) cache -- cache of values needed for the conv_backward(), output of conv_forward() Returns: numpy array of shape (m, n_H_prev, n_W_prev, n_C_prev) dA_prev -- gradient of the cost with respect to the input of the conv layer (A_prev), dW -- gradient of the cost with respect to the weights of the conv layer (W) """ # 获取前向传播中存储的cache numpy array of shape (f, f, n_C_prev, n_C) db -- gradient of the cost with respect to the biases of the conv layer (b) numpy array of shape (1, 1, 1, n_C) (A_prev, W, b, hparameters) = cache # 前一层输入的shape (m, n_H_prev, n_W_prev, n_C_prev) = A_prev.shape # 滤波器的 shape (f, f, n_C_prev, n_C) = W.shape # 步幅和权重参数 stride = hparameters['stride'] pad = hparameters['pad'] # dZ 的shape (m, n_H, n_W, n_C) = dZ.shape # 初始化 dA_prev, dW, db dA_prev = np.zeros((m, n_H_prev, n_W_prev, n_C_prev)) dW = np.zeros((f, f, n_C_prev, n_C)) db = np.zeros((1, 1, 1, n_C)) # 对A_prev 和 dA_prev 执行零填充 A_prev_pad = zero_pad(A_prev, pad) dA_prev_pad = zero_pad(dA_prev, pad) for i in range(m): # select ith training example from A_prev_pad and dA_prev_pad a_prev_pad = A_prev_pad[i,:,:,:] da_prev_pad = dA_prev_pad[i,:,:,:] for h in range(n_H): for w in range(n_W): for c in range(n_C): # 获取当前感受野 vert_start = h * stride vert_end = vert_start + f horiz_start = w * stride horiz_end = horiz_start + f # 获取当前滤波器矩阵 a_slice = a_prev_pad[vert_start:vert_end, horiz_start:horiz_end, :] # 梯度更新 da_prev_pad[vert_start:vert_end, horiz_start:horiz_end, :] += W[:,:,:,c] * dZ[i, h, w, c] dW[:,:,:,c] += a_slice * dZ[i, h, w, c] db[:,:,:,c] += dZ[i, h, w, c] dA_prev[i, :, :, :] = da_prev_pad[pad:-pad, pad:-pad, :] assert(dA_prev.shape == (m, n_H_prev, n_W_prev, n_C_prev)) return dA_prev, dW, db CNN反向传播过程：池化 反向传播中的池化操作跟卷积也是类似的。再此之前，我们需要根据滤波器为最大池化和平均池化分别创建一个 mask 和一个 distribute_value : def create_mask_from_window(x): """ Creates a mask from an input matrix x, to identify the max entry of x. Arguments: x -- Array of shape (f, f) Returns: mask -- Array of the same shape as window, contains a True at the position corresponding to the max entry of x. """ mask = (x == np.max(x)) return mask def distribute_value(dz, shape): """ Distributes the input value in the matrix of dimension shape Arguments: dz -- input scalar shape -- the shape (n_H, n_W) of the output matrix for which we want to distribute the value of dz Returns: a -- Array of size (n_H, n_W) for which we distributed the value of dz """ (n_H, n_W) = shape # Compute the value to distribute on the matrix average = dz / (n_H * n_W) # Create a matrix where every entry is the "average" value a = np.full(shape, average) return a 然后整合封装最大池化的反向传播过程： def pool_backward(dA, cache, mode = "max"): """ Arguments: dA -- gradient of cost with respect to the output of the pooling layer, same shape as A cache -- cache output from the forward pass of the pooling layer, contains the layer's input and hparameters mode -- the pooling mode you would like to use, defined as a string ("max" or "average") Returns: """ # Retrieve information from cache dA_prev -- gradient of cost with respect to the input of the pooling layer, same shape as A_prev (A_prev, hparameters) = cache # Retrieve hyperparameters from "hparameters" stride = hparameters['stride'] f = hparameters['f'] # Retrieve dimensions from A_prev's shape and dA's shape m, n_H_prev, n_W_prev, n_C_prev = A_prev.shape m, n_H, n_W, n_C = dA.shape # Initialize dA_prev with zeros dA_prev = np.zeros((m, n_H_prev, n_W_prev, n_C_prev)) for i in range(m): # select training example from A_prev a_prev = A_prev[i,:,:,:] for h in range(n_H): for w in range(n_W): for c in range(n_C): # Find the corners of the current "slice" vert_start = h * stride vert_end = vert_start + f horiz_start = w * stride horiz_end = horiz_start + f # Compute the backward propagation in both modes. if mode == "max": a_prev_slice = a_prev[vert_start:vert_end, horiz_start:horiz_end, c] mask = create_mask_from_window(a_prev_slice) dA_prev[i, vert_start: vert_end, horiz_start: horiz_end, c] += np.multiply(mask, dA[i,h,w,c]) elif mode == "average": # Get the value a from dA da = dA[i,h,w,c] # Define the shape of the filter as fxf shape = (f,f) # Distribute it to get the correct slice of dA_prev. i.e. Add the distributed value of da. dA_prev[i, vert_start: vert_end, horiz_start: horiz_end, c] += distribute_value(da, shape) # Making sure your output shape is correct assert(dA_prev.shape == A_prev.shape) return dA_prev 这样卷积神经网络的整个前向传播和反向传播过程我们就搭建好了。可以说是非常费力的操作了，但我相信，经过这样一步步的根据原理的手写，你一定会对卷积神经网络的原理理解更加深刻了。 原文发布时间为：2018-09-15 本文作者：louwill 本文来自云栖社区合作伙伴“Python爱好者社区”，了解相关信息可以关注“Python爱好者社区”。

认证名称及链接阿里云人工智能助理工程师认证（ACA） 证书展示 课程目录人工智能概论人工智能概念从机器学习到深度学习深度学习概览自然语言处理概述图像智能处理概述语音识别概述知识图谱概述神经网络基础神经网络介绍卷积神经网络循环神经网络生成对抗网络TensorFlow开发基础TensorFlow框架入门TensorFlow开发进阶在线实验阿里云机器学习与深度学习开发平台PAIPAI整体介绍深度学习开发环境PAI DSW可视化开发环境PAI Studio在线预测服务PAI EAS在线实验阿里云人工智能产品介绍与应用视频课程在线实验 课程笔记人工智能概论基于不同维度，人工智能具有多种定义图灵测试第三次热潮（2006年以后）：深度学习、神经网络发展发展半监督学习自监督学习无监督学习物端AI与边缘计算深度学习与推荐系统整合AutoML：自动网络结构搜索应用领域图像智能处理图像分类对象检测语义分割目标跟踪智能语音交互语音识别对话系统自然语言处理（NLP）情感分析机器翻译知识图谱机器人问题领域 & 主要算法传统机器学习分类：决策树、逻辑回归、随机森林等回归：线性回归、岭回归等聚类：k-means、DBSCAN等协同过滤：Apriori、SVD等深度学习图像识别：卷积神经网络语音交互：循环神经网络、LSTM自然语言处理：深层神经网络、循环神经网络、递归神经网络、卷积神经网络深度学习技术体系数学理论微积分、线性代数信息论、概率论图论算法知识机器学习神经网络开发技术软件开发开发框架：TensorFlow、Keras、pytorch、caffe、阿里云机器学习平台PAI、阿里云人工智能产品硬件开发知识图谱基本概念实体关系实体和关系拥有各自属性关键技术数据采集知识抽取图谱设计应用语义搜索反欺诈分别与识别金融投研情报分析神经网络基础人工神经网络（artificial neural network），简称神经网络（neural network，NN）历史发展 & 代表性技术第一次热潮：感知机、单层神经网络第二次热潮：多层神经网络、后向传播算法第三次热潮：卷积神经网络、循环神经网络神经网络的前置知识算法的基础：数学知识（矩阵计算、微积分、概率论）开发的基础：python 、 c++运行与调优的基础：计算机系统知识（操作系统、分布式系统）神经网络组成：神经元、网络连接生物神经元抽象模型神经元通用模型输入单元计算单元：线性计算 + 激励函数（非线性函数、信号变换）输出单元激励函数：非线性函数（常用）（sigmoid、tanh、relu、leaky relu）、线性函数、偏置值神经网络训练过程定义网络结构随机生成网络连接权重参数针对训练样例计算预测值根据实际值与预测值差异更新网络参数损失函数：均方差损失函数、交叉熵损失函数反向传播算法梯度消失问题：sigmoid、tanh 存在问题、relu 可缓解问题常见神经网络类别 & 适应场景多层感知机 - 分类与回归问题深度神经网络 - 分类与回归问题卷积神经网络 - 图像识别循环神经网络 - 语音、文本识别卷积神经网络（Convolutional Neural Networks, CNN）LeNet、AlexNet、GoogLeNet、ResNets卷积核、卷积计算卷积层：用卷积核的矩阵自上而下、自左向右在图像上滑动池化层：最大值池化、求和值池化、均值池化完全连接：每个节点都与相邻层的其他节点连接循环神经网络（recurrent neural network，RNN）不仅将当前的输入样本作为网络输入，还将网络之前感知到的一并作为输入发展历程：RNN - simple rnn - bidirectional rnn - lstm network循环神经元长短期记忆网络 LSTMLSTM元胞forget gateinput gateoutput gate生成对抗网络（generative adversarial networks，GANs）生成模型（generative model）判别模型（discriminative model）近年来复杂分布上无监督学习最具前景的方法之一生成对抗网络类别：gan、dcgan、cgan、cyclegan、stylegan、biggan应用场景图像生成图像转换人脸合成半监督学习TensorFlow开发基础特征：高度灵活性、可移植性好、丰富算法库、文档完善可视化：tensorboard系统架构客户端 front end提供编程模型负责构造计算图后端系统 exec system提供运行时环境负责运行计算图编程模式：计算图（数据流图）基本数据模型：张量（tensor）（维度、形状）基本语法变量：存储动态变化的数据占位符：暂时存储变量会话session数据读取预加载数据供给数据文件读取：从文件系统中读取、使用内存队列缓存数据、文件名队列+内存队列开发模式 & 适用场景基于预定义的estimator开发 - 深层神经网络DNN分类器、回归器基于TensorFlow的神经网络nn模块提供的网络层函数开发 - 多层感知机、卷积神经网络、循环神经网络损失函数反向传播算法优化器模型保存与加载优化器GradientDescentOptimizerMomentumOptimizerAdamOptimizerAdagradOptimizerAdadeltaOptimizer阿里云机器学习与深度学习开发平台PAIPAI DSW - 云端交互式代码开发工具适用于使用深度学习神经网络进行数据分析和使用SQL进行数据分析的用户PAI Studio - 机器学习可视化开发工具适用于使用经典机器学习、深度学习进行数据分析的用户PAI EAS - 模型在线服务适用于在PAI平台上已经完成模型构建和使用PAI Studio和PAI-DSW的用户PAI autolearning - 自动学习平台PAI外围产品dataworksmaxcomputeossnas阿里云人工智能产品介绍与应用阿里巴巴达摩院研究领域：机器智能、数据计算、机器人、金融科技、X实验室阿里云人工智能产品智能语音产品录音文件识别实时语音转写语音合成智能图像产品图像识别图像搜索印刷文字识别自然语言处理NLP自学习平台多语言分词词性标注命名实体情感分析机器翻译机器翻译电商版机器翻译通用版 相关链接阿里巴巴达摩院 备注工匠精神，精益求精，踏实学习，再接再厉 O(∩_∩)O欢迎各位同学一起来交流学习心得！

基础概念： 　　卷积神经网络（CNN）：属于人工神经网络的一种，它的权值共享的网络结构显著降低了模型的复杂度，减少了权值的数量。卷积神经网络不像传统的识别算法一样，需要对数据进行特征提取和数据重建，可以直接将图片作为网络的输入，自动提取特征，并且对图形的变形等具有高度不变形。在语音分析和图像识别领域有重要用途。 　　卷积：卷积是泛函分析中的一种积分变换的数学方法，通过两个函数 f 和 g 生成第三个函数的一种数学算子，表征函数 f 与 g 经过翻转和平移的重叠部分的面积。设函数  是定义在  上的可测函数，与的卷积记作，它是其中一个函数翻转并平移后与另一个函数的乘积的积分，是一个对平移量的函数，也就是：   具体解释下： 　　1.已知两函数f(t)和g(t)。下图第一行两图分别为f(t)和g(t)。 　　2.首先将两个函数都用来表示，从而得到f()和g()。将函数g()向右移动t个单位，得到函数g(-t)的图像。将g(-t)翻转至纵轴另一侧，得到g(-(-t))即g(t-)的图像。下图第二行两图分别为f()和g(t-)。 　　3.由于非常数(实际上是时间变量)，当时间变量(以下简称“时移”)取不同值时，能沿着轴“滑动”。下图第三四五行可理解为“滑动”。 　　4.让从-∞滑动到+∞。两函数交会时，计算交会范围中两函数乘积的积分值。换句话说，我们是在计算一个滑动的的加权总和(weighted-sum)。也就是使用当做加权函数，来对 f()取加权值。 　　最后得到的波形（未包含在此图中）就是f和g的卷积。   　　神经网络的基本组成包括输入层、隐藏层、输出层。卷积神经网络的特点在于隐藏层分为卷积层和池化层。卷积层通过一块块的卷积核在原始图像上平移来提取特征，每一个特征就是一个特征映射；而池化层通过汇聚特征后稀疏参数来减少要学习的参数，降低网络的复杂度，池化层最常见的包括最大值池化 (max pooling) 和平均值池化 (average pooling) 。 　　卷积核在提取特征映射时的动作称为 padding，其有两种方式，即 SAME 和 VALID。由于移动步长（Stride）不一定能整除整张图的像素宽度，我们把不越过边缘取样称为 Vaild Padding，取样的面积小于输入图像的像素宽度；越过边缘取样称为 Same Padding， 取样的面积和输入图像的像素宽度一致。   几种不同的卷积神经网络： 1.LeNet 输入层：32 x 32 卷积层：3个 下采样层：2个  全连接层：1个 输出层：10个类别（数字0~9的概率）。 （1）输入层。输入图像尺寸为32 x 32。 （2）卷积层：卷积运算的主要目的是使原信号特征增强，并且降低噪音。 （3）下采样层：下采样层主要是想降低网络训练参数及模型的过拟合程度。通常有以下两种方式。 最大池化(max pooling)：在选中的区域中找最大的值作为采样后的值。 平均值池化(mean pooling)：把选中区域中的平均值作为采样后的值。 （4）全连接层：计算输入向量和权重向量的点积，再加上一个偏置，随后将其传递给 sigmoid 函数，产生单元 i 的一个状态。   2.AlexNet 　　AlextNet 由5个卷积层、5个池化层、3个全连接层、大约5000万个可调参数组成。 优点：使用了如下方法  防止过拟合：Dropout、数据增强。 非线性激活函数：ReLU。 大数据训练：120万 ImageNet 图像数据。 GPU 实现、LRN规范化层的使用。   此外还有 VGGNet、GoogLeNet、ResNet 等卷积神经网络模型，这里不再一一叙述。     ***讲下解决过拟合的方法。 （1）数据增强：增加训练数据是避免过拟合的好方法，并且能提升算法的准确性。当训练数据有限的时候，可以通过一些变换从已有的训练数据集中生成一些新数据。来扩大训练数据量。通常采用的变形方法以下几种： 水平翻转图像（又称反射变化，filp）。 从原始图像随机地平移变换出一些图像。 给图像增加一些随机的光照（又称光照、彩色变换、颜色抖动）。 （2）Dropout。以 Alexnet 为例，Alexnet 是以0.5 的概率将每个隐层神经元的输出设置为0 。以这种方式被抑制的神经元既不参加前向传播，也不参与反向传播。因此，每次输入一个样本，就相当于该神经网络尝试了一个新结构，但是所有这些结果之间共享权重。因为神经元不能依赖于其他神经元而存在，所以这种技术降低了神经元复杂的互适应关系。因此，网络需要被迫学习更为健壮的特征，这些特征在结合其他神经元的一些不同随机子集时很有用。Dropout 使收敛所需的迭代次数大致增加了一倍。

系列文章： 一入侯门“深”似海，深度学习深几许（深度学习入门系列之一） 人工“碳”索意犹尽，智能“硅”来未可知（深度学习入门系列之二） 神经网络不胜语，M-P模型似可寻（深度学习入门系列之三） “机器学习”三重门，“中庸之道”趋若人（深度学习入门系列之四） Hello World感知机，懂你我心才安息 (深度学习入门系列之五) 损失函数减肥用，神经网络调权重（深度学习入门系列之六） 山重水复疑无路，最快下降问梯度（深度学习入门系列之七） BP算法双向传，链式求导最缠绵（深度学习入门系列之八） 全面连接困何处，卷积网络见解深（深度学习入门系列之九） 卷地风来忽吹散，积得飘零美如画（深度学习入门系列之十） 很多年前，著名物理学家爱因斯坦说过一句名言：Everything should be made as simple as possible, but not simpler（越简单越好，但是还不能过分简单）。”是的，只有名人才能说名言。如果这句话是我的说的，你可能认为这不是废话吗？ 我把爱老爷子搬出来，自然不是想唬你，而是因为他的名言和我们今天要讲的主题有点相关。我们知道，相比于全连接的前馈网络，卷积神经网络的结构要简单得多，可是它并不是那么简单，否则也不会有这么多初学者对卷积神经网络“望而生畏”。 卷积神经网络之所以这么成功，套用爱老爷子的观点来说，它简单得“恰如其分”。在前面的章节中，我们重点讨论了卷积的概念以及卷积核在图像处理中的应用。在本章，我们将重点讨论它“恰如其分”的拓扑结构，一旦理解清楚它的设计原理，再动手在诸如Theano或Keras等深度学习框架下，写个卷积神经网络的实战小Demo，聪慧如你，一定不在话下。 11.1 卷积神经网络的拓扑结构 下面我们先感性认识一下卷积神经网络中的几个重要结构，如图11-1所示。在不考虑输入层的情况下，一个典型的卷积神经网络通常由若干个卷积层（Convolutional Layer）、激活层（Activation Layer）、池化层（Pooling Layer）及全连接层（Fully Connected Layer）组成。 图11-1  典型卷积神经网络的结构 下面先给予简单地介绍，后文会逐个进行详细介绍： 卷积层：这个是卷积神经网络的核心所在（作为数学概念，我们在第10章已做了详细介绍。不熟悉的读者可前往查阅 [1]）。在卷积层，通过实现“局部感知”和“权值共享”等系列的设计理念，可达到两个重要的目的：对高维输入数据实施降维处理和实现自动提取原始数据的核心特征。  激活层：其作用是将前一层的线性输出，通过非线性激活函数处理，从而可模拟任意函数，进而增强网络的表征能力。在深度学习领域，ReLU（Rectified-Linear Unit，修正线性单元）是目前使用较多的激活函数，原因是它收敛更快，且不会产生梯度消失问题。 池化层：亦称亚采样层（Subsampling Layer）。简单来说，利用局部相关性，“采样”在较少数据规模的同时保留了有用信息。巧妙的采样还具备局部线性转换不变性，从而增强卷积神经网络的泛化处理能力。 全连接层：这个网络层相当于传统的多层感知机（Multi-Layer Perceptron，简称MLP，例如我们已经讲解过的BP算法[2]）。通常来说，“卷积-激活-池化”是一个基本的处理栈，通过多个前栈处理之后，待处理的数据特性已有了显著变化：一方面，输入数据的维度已下降到可用“全连接”网络来处理了；另一方面，此时全连接层的输入数据已不再是“泥沙俱下、鱼龙混杂”，而是经过反复提纯过的结果，因此最后输出的结果要可控得高。 事实上，我们还可以根据不同的业务需求，构建出不同拓扑结构的卷积神经网络，常见架构模式如图11-2所示。 图11-2 卷积神经网络的拓扑结构 也就是说，可以先由m个卷积层和激活层叠加，然后(可选)进行一次池化操作，重复这个结构n次，最后叠加k个全连接层（m, n, k ≥ 1）。总体来讲，卷积神经网络通过多层处理，逐渐将初始的“低层”特征表示，转化为“高层”特征表示，之后再用“简单模型”即可完成复杂的分类等学习任务。因此在本质上，深度学习就是一个“特征学习（feature learning）”或“表示学习（representation learning）”[3]。 下面我们将一一讲解卷积神经网络中这几个层的设计理念。在讲解之前，我们有必要补充介绍一下大名鼎鼎的CIFAR-10图像集，因为后面的案例会频频用到这个数据集。 11.2不得不提的 CIFAR-10图像集 CIFAR-10最早是由Hinton教授带领他的两名学生Alex Krizhevsky与Vinod Nair等人一起收集的微型图像集。该图像集由60,000张32×32的RGB彩色图片构成，共10个大分类，其中50,000张图片用作训练，另外随机抽取10,000张用作测试（交叉验证）。如图11-3所示[4]。 图11-3 从CIFAR-10随机抽取的10类图像 CIFAR-10最大的特点莫过于，它将识别的范围扩大到普适物体。相比于已经非常成熟的人脸识别，普适物体的识别更具有挑战性，因为普适图像数据集中含有各样各异的特征，甚至噪声，而且图像中的物体大小比例不一，这些都无疑增加了普适物体判别的难度。 CIFAR-10在深度学习等领域非常有影响力。这是因为它是很多人 “深度学习”实战的起点（比如说，Theano、TensorFlow等深度学习框架都常用到这个数据集来做实战练习）。它的存在，在客观上加速推动了“深度学习”的普及进程。可以说，Hinton教授的功劳，不仅仅体现他对深度学习算法的创新上，还体现于他对深度学习的普及上。 11.3 卷积层的3个核心概念 有了上面的工作的铺垫，下面我们来聊聊卷积层的三个核心概念：局部连接、空间位置排列及权值共享。 11.3.1  局部连接 前面我们也提到过，全连接的前馈神经网络有个非常致命的缺点，那就是可扩展性（Scalability）非常差。原因非常简单，网络规模一大，需要调参的个数以神经元数的平方倍增，导致它难以承受参数太多之痛。 局部连接（Local Connectivity）在能某种程度上缓解这个“参数之痛”。下面我们以CIFAR-10图像集为输入数据，来探究一下局部连接的工作原理。 通过前面的介绍可知，每一幅CIFAR-10图像都是32×32×3的RGB图像。对于隐藏层的某个神经元，如果是全连接前馈网络中，它不得不和前一层的所有神经元（32×32）都保持连接。 但现在，对于卷积神经网络而言，隐藏层的这个神经元仅仅需要与前向层的部分区域相连接。这个局部连接区域有个特别的名称叫“感知域（receptive field）”，其大小等同于卷积核的大小（比如说5×5），如图11-4所示。相比于原来的32×32连接个数，变成现在的5×5个连接，连接的数量自然是稀疏得多，因此，局部连接也被称为“稀疏连接（Sparse Connectivity）”。   图11-4  局部连接示意图 但需要注意的是，这里的稀疏连接，仅仅是指卷积核的感知域（5×5）相对于原始图像的高度和宽度（32×32）而言的。卷积核的深度（depth）则需要与原始数据保持一致，不能缩减。在这里，卷积核的深度实际上就是卷积核的个数。对于RGB图像而言，如果我们需要在红色、蓝色和绿色等三个通道提取特征，那么卷积核个数就是3）。所以对于隐藏层的某个神经元，它的前向连接个数是由全连接的32×32×3个，通过卷积操作，减少到局部连接的到5×5×3个。 请读者思考，为了提取更多特征，如果卷积核的深度不是3个，而是100个，又会发生什么？很显然，这样一来的话，局部连接带来的参数个数减少量，就要大打折扣。 11.3.2 空间排列 在讲解完毕局部连接的原理之后。下面我们来谈谈决定卷积层的空间排列（Spatial arrangement）的4个参数，它们分别是：卷积核的大小、深度、步幅及补零。其中，卷积核的大小（通常多是3×3或5×5的方矩阵）我们已经在第10章讨论了，这里仅仅对另外三个结构进行说明[5]。 （1）卷积核的深度（depth）：卷积核的深度对应的是卷积核的个数。每个卷积核只能提取输入数据的部分特征。每一个卷积核与原始输入数据执行卷积操作，会得到一个卷积特征，这样的多个特征汇集在一起，我们称为特征图谱。在图11-1所示的示例中（左上部），我们使用三个不同的滤波器（即卷积核）对原始图像进行卷积操作，这样就可以生成三个不同的特征图。你可以把这三个特征图看作是堆叠在一起的2D（二维）矩阵。 事实上，每个卷积核提取的特征都有各自的侧重点。因此，通常说来，多个卷积核的叠加效果要比单个卷积核的分类效果要好得多。例如在2012年的ImageNet竞赛中，Hinton教授和他的学生Krizhevsky等人打造了第一个“大型的深度卷积神经网络”，也即现在众所周知的AlexNet。在这个夺得冠军的深度学习算法中，他们使用的卷积核高达96个！可以说，自那时起，深度卷积神经网络一战成名，才逐渐被世人瞩目。 （2）步幅（stride）：即滤波矩阵在输入矩阵上滑动跨越的单元个数。设步幅大小为S，当S为1时，滤波器每次移动一个像素的位置。当S为2时，每次移动滤波器会跳过2个像素。S越大，卷积得到特征图就越小。以一维数据为例，当卷积核为[1，0，-1]，输入矩阵为[0, 1, 2, -1, 1, -3, 0]时，图11-5显示了步幅分别为1和2卷积层的神经元分布情况。 图11-5  当步幅为1和2时，输入层和卷积层的神经元空间分布 （3）补零（zero-padding）：补零操作通常用于边界处理。在有些场景下，卷积核的大小并不一定刚好就被输入数据矩阵的维度大小整除。因此，就会出现卷积核不能完全覆盖边界元素的情况。这时，我们就需要在输入矩阵的边缘使用零值进行填充，使得在输入矩阵的边界处的大小刚好和卷积核大小匹配。这样做的结果，相当于对输入图像矩阵的边缘进行了一次滤波。零填充的好处在于，它可以让我们控制特征图的大小。使用零填充的卷积叫做泛卷积（wide convolution），不适用零填充的叫做严格卷积（narrow convolution）。 下面我们举例说明这个概念。假设步幅S的大小为2，为了简单起见，我们假设输入数据为一维矩阵 [0, 1, 2, -1, 1, -3]，卷积核为[1, 0, -1]，在卷积核滑动两次之后，此时输入矩阵边界多余一个“-3”，不够滑动第3次，如图11-6-(a)所示。此时，便可以在输入矩阵填入额外的0元素，使得输入矩阵变成[0, 1, 2, -1, 1, -3, 0]，这样一来，所有数据都能得到处理，如图11-6-(b)所示。。 图11-6  在输入矩阵边界处补零 综上所述，在构造卷积层时，对于给定的输入数据，如果确定了卷积核的大小，卷积核的深度（个数）、步幅以及补零个数，那么卷积层的空间安排就能确定下来。以一维数据为例，假设数据的大小（数据元素的长度）为W，卷积核的深度为F，步幅大小为S，补零的数目为P，那么对于每个卷积核，在它与输入数据实施卷积操作后得到特征图谱，它包含的神经元个数N可以用（11-1）公式计算得到。        对于高维数据而言，对每一个维度的数据均按照（11-1）计算即可。 11.3.3 权值共享 卷积层设计的第三个核心概念就是权值共享（Shared Weights），由于这些权值实际上就是不同神经元之间的连接参数，所以有时候，也将权值共享称为参数共享（Parameter Sharing）。 为什么要设置权值共享呢？其实这也是无奈之举。前文我们提到，通过局部连接处理后，神经元之间的连接个数已经有所减少。可到底减少多少呢？还以CIFAR-10数据集合为例，一个原始的图像大小为32×32×3，假设我们有100个卷积核，每个卷积核的大小为5×5×3，步幅为1，没有补零。先单独考虑一个卷积核，将公式11-1扩展到二维空间，可以很容易计算得到每一个卷积核对应的特征图谱大小是28×28。也就是说，这个特征图谱对应有28×28神经元。而每个神经元以卷积核大小（5×5×3）连接前一层的“感知域（receptive field）”，也就是说，它的连接参数个数为（28×28）×（5×5×3）。如果考虑所有的100个卷积核，（在不考虑偏置参数的情况下）连接的参数个数为（5×5×3）×（28×28）×100 = 5,880,000。 那么全连接的参数个数又是多少呢？仅仅考虑两层网络的情况下，其连接个数为（32×32×3）×（32×32×3）=9,437,184。对比这二者的数字可以发现，局部连接虽然降低了连接的个数，但整体幅度并不大，需要调节的参数个数依然非常庞大，因此还是无法满足高效训练参数的需求。 而权值共享就是来解决这个问题的，它能显著降低参数的数量。该如何理解权值共享呢？首先从生物学意义上来看，相邻神经元的活性相似，从而可以它们共享相同的连接权值。 其次单从数据特征上来看，我们可以把每个卷积核（即过滤核）当作一种特征提取方式，而这种方式与图像等数据的位置无关。这就意味着，对于同一个卷积核，它在一个区域提取到的特征，也能适用于于其他区域。基于权值共享策略，将卷积层神经元与输入数据相连，同属于一个特征图谱的神经元，将共用一个权值参数矩阵，如图11-7所示。经过权值共享处理后，CIFAR-10的连接参数一下子锐减为5×5×3×1×100 = 7500。 图11-7  权值共享策略 权值共享保证了在卷积时只需要学习一个参数集合即可，而不是对每个位置都再学习一个单独的参数集合。因此参数共享也被称为绑定的权值（tied weights）。 11.4 小节与思考 在本章，我们讨论了卷积神经网络的拓扑结构，并重点讲解了卷积层的设计动机和卷积层的3个核心概念：空间位置排列、局部连接和权值共享。前者确定了神经网络的结构参数，而局部连接和权值共享等策略显著降低了神经元之间的连接数。示意图11-8演示了三种不同的连接类型带来的参数变化，从图中可以看出，全连接（不包括偏置的权值连接）的参数为15个，局部连接为7个，而权值共享的参数为3个（即红绿蓝线分别共用一个参数）。 图11-8  神经元连接的三种类型 通过上面的学习，请你思考如下问题： （1）虽然局部连接、权值共享等策略大大降低了卷积层与输入层之间的权值调整个数，但并没有提升网络的前向传播速度，你知道为什么吗？ （2）前文我们提到“肤浅而全面”的全连接，不如“深邃而局部”部分连接。在2016年商汤科技团队在ImageNet图片分类比赛中勇夺冠军，其网络深度已达到1207层。那么，深度学习是不是越深越好？为什么？广度学习就没有未来吗？ 在下一讲中，我们将讲解卷积神经网络的剩余部分：池化层、激活层和全连接层。请你关注。 参考文献 [1] 张玉宏. 云栖社区. 全面连接困何处，卷积网络见解深（深度学习入门系列之九） [2] 张玉宏. 云栖社区. BP算法双向传，链式求导最缠绵（深度学习入门系列之八） [3] 周志华.机器学习.清华大学出版社.2016.1 [4] The CIFAR-10 dataset.http://www.cs.toronto.edu/~kriz/cifar.html [5] 黄安埠. 深入浅出深度学习.中国工信出版社.2017.6 文章作者：张玉宏，著有《品味大数据》一书。本文节选自《深度学习之美》一书，电子工业出版社2018年7月出版 （未完待续） 系列文章： Hello World感知机，懂你我心才安息(深度学习入门系列之五) 损失函数减肥用，神经网络调权重（深度学习入门系列之六） 山重水复疑无路，最快下降问梯度（深度学习入门系列之七） BP算法双向传，链式求导最缠绵（深度学习入门系列之八） 全面连接困何处，卷积网络见解深（深度学习入门系列之九） 卷地风来忽吹散，积得飘零美如画（深度学习入门系列之十） 局部连接来减参，权值共享肩并肩（深度学习入门系列之十一） 激活引入非线性，池化预防过拟合（深度学习入门系列之十二） 循环递归RNN，序列建模套路深（深度学习入门系列之十三） LSTM长短记，长序依赖可追忆（深度学习入门系列之十四）  

对于一个新手来说，深度学习术语可能非常难以理解。本表试图解释深度学习常用术语并链接到原始参考，以帮助读者深入了解特定主题。 深度学习与“一般”的机器学习术语之间的界限非常模糊。例如，我这里不包括“交叉验证”，因为它是一种通用技术，用于整个机器学习。但是，我加入了softmax或word2vec等术语，因为它们通常与深度学习相关，即使它们不是深度学习技术。 激活函数 为了让神经网络学习复杂的决策边界，我们将非线性激活函数应用于其某些层。常用的函数包括sigmoid、tanh、ReLU（整流线性单元）及它们的变体。 Adadelta Adadelta是一种基于梯度下降的学习算法，可以随时间调整每个参数的学习速率。它被认为是对Adagrad的改进，因为Adagrad对超参数很敏感，并且可能过于快速的降低学习速度。Adadelta类似于rmsprop，可以用来代替朴素SGD。 相关资源： 1、ADADELTA：一种自适应学习率方法； 2、斯坦福CS231n：优化算法； 3、梯度下降优化算法概述； Adagrad Adagrad是一种自适应学习速率算法，它可以跟随时间变化，并自动调整每个参数的学习速率。它可以代替vanilla SGD使用，并且对稀疏数据特别有用，它可以为不经常更新的参数分配更高的学习率。 相关资源： 1、在线学习和随机优化的自适应梯度下降方法； 2、斯坦福CS231n：优化算法； 3、梯度下降优化算法概述； Adam Adam是一种类似于rmsprop的自适应学习速率算法，但是使用梯度的第一和第二时刻的运行平均值直接估计更新，并且还包括偏差校正项。 1、Adam：随机优化的一种方法 2、梯度下降优化算法概述 Affine layer(仿射层) 一种神经网络中的完全连接层。仿射意味着前一层中的每个神经元都连接到当前层中的每个神经元。在许多情况下，这是神经网络的“标准”层。在进行最终预测之前，通常会在卷积神经网络或递归神经网络的输出之上添加仿射层。仿射层通常形式的y=f(Wx+b)，其中x是该层的输入，W参数，b偏置向量，f是非线性激活函数。 注意力机制 注意力机制受到人类视觉注意力机制的启发，即关注图像特定部分的能力。注意力机制可以应用在语言处理和图像识别架构中，以帮助网络了解在进行预测时“关注”的内容。 1、深度学习和NLP中的注意力机制 Alexnet Alexnet是一种卷积神经网络架构的名称，它以绝对的优势赢得了ILSVRC 2012竞赛。它由五个卷积层组成，其中一些后面是最大池层，三个是完全连接的层，最后是1000-way softmax。Alexnet在深度卷积神经网络的ImageNet分类中被引入。 自动编码器 自动编码器是一种神经网络模型，其目标是预测输入本身，通常是通过网络中某处的“瓶颈”。通过引入瓶颈，我们可以强制网络输入的低维表示，这样能有效地将输入压缩为更好的表示。自动编码器与PCA和其他降维技术差不多，但由于其非线性的特性，它可以学习更复杂的映射。而且存在很多种自动编码器架构，包括去噪自动编码器、变分自动编码器或序列自动编码器。 平均池（Average-Pooling） Average-Pooling是用于图像识别的卷积神经网络的汇集技术。它的工作原理是在一系列特征（例如像素）上滑动窗口，并获取窗口内所有值的平均值。它可以将输入压缩为较低维表示。 反向传播 反向传播是一种有效计算神经网络中梯度的算法，更一般地说，是一种前馈计算图。可以把它归结为从网络输出开始应用差异化的链规则并向后传播梯度，反向传播的第一次使用可以追溯到1960年代的Vapnik。 1、计算图上的微积分：反向传播 反向传播时间（BPTT） Backpropagation Through Time（paper）是应用于递归神经网络（RNN）的反向传播算法。BPTT可被视为应用于RNN的标准反向传播算法，其中每个时间步长代表一个层，并且参数在各层之间共享。由于RNN在所有时间步骤中共享相同的参数，因此必须将“一段时间”的错误“通过时间”反向传播到所有先前的时间步骤，因此名称。当处理长序列时，经常使用Truncated-BPTT来降低计算成本。Truncated-BPTT在固定步数后停止反向传播错误。 1、通过时间反向传播：它做什么以及如何做到这一点 批量标准化（Batch Normalization） 批量标准化是一种对每个小批量的层输入进行标准化的技术。它加快了训练的速度，允许使用更高的学习率。目前已经发现批量标准化对卷积和前馈神经网络非常有效，但尚未成功应用于递归神经网络。 1、批量标准化：通过减少内部协变量转换来加速深度网络训练； 2、批量标准化递归神经网络； 双向RNN 双向RNN是一种神经网络，包含两个进入不同方向的RNN。前向RNN从开始到结束读取输入序列，而后向RNN从结束到开始读取输入序列。两个RNN堆叠在彼此之上，并且通常通过附加两个向量来组合它们的状态。双向RNN通常用于自然语言问题，因为希望在进行预测之前考虑单词之前和之后的上下文。 1、双向递归神经网络; Caffe Caffe是伯克利视觉和学习中心开发的深度学习框架，Caffe在视觉任务和CNN模型中特别受欢迎。 分类交叉熵损失（Categorical Cross-Entropy Loss） 分类交叉熵损失也称为负对数似然，它是分类问题中流行损失函数，它可以测量两个概率分布之间的相似性，通常是真实标签和预测标签。它由真实标签的概率分布L =-sum(y * log(y_prediction))在何处给出，y_prediction是预测标签的概率分布，通常来自softmax。 通道（Channel） 向Deep Learning模型输入数据可以有多个通道。一般的图像是具有红色、绿色和蓝色通道。图像可以表示为三维张量，其尺寸对应于通道、高度和宽度。自然语言数据也可以具有多个通道，例如以不同类型的嵌入的形式。 卷积神经网络（CNN，ConvNet） CNN使用卷积来连接输入的局部区域的提取特征。大多数CNN都包含卷积，汇集和仿射层。CNN已经越来越受欢迎，特别是他们在视觉识别任务方面的出色表现。 1、斯坦福CS231n类-视觉识别的卷积神经网络 2、NLP中使用卷积神经网络； 深度信念网络（DBN） DBN是一种概率图形模型，其以无监督的方式学习数据的分层表示。DBN由多个隐藏层组成，每个连续的层中的神经元之间具有连接。DBN是通过将多个RBN堆叠在一起并逐个训练来构建的。 1、深度信念网络的快速学习算法 DeepDream Google发明的一种技术，旨在提炼深层卷积神经网络捕获的知识。该技术可以生成新图像或者转换现有图像并赋予它们梦幻般的风格。 Dropout Dropout是神经网络的正则化技术，可防止过度拟合。它通过在每次训练迭代中将它们的一部分随机设置为0来防止神经元过度适应。可以以各种方式解释丢失，例如从指数数量的不同网络中随机采样。Dropout层首先通过在CNN中的使用而获得普及，但此后已应用于其他层。 1、Dropout：一种防止神经网络过度拟合的简单方法 2、递归神经网络正则化 嵌入（Embedding） 嵌入是将输入（例如单词或句子）映射到向量中。有一种流行的嵌入类型是word嵌入，例如word2vec或GloVe。它们可以嵌入句子，段落或图像。例如，通过将图像及其文本描述映射到公共嵌入空间并最小化它们之间的距离，我们可以将标签与图像匹配。嵌入可以明确地学习，例如在word2vec中，也作为监督任务的一部分，例如情感分析。通常，网络的输入层用预先训练的嵌入进行初始化，然后将其微调到手头的任务。 梯度爆炸问题 梯度爆炸问题正好与消失梯度问题相反。在深度神经网络中，梯度可能在反向传播期间爆炸，导致数量溢出。处理梯度爆炸的常用技术是执行梯度裁剪。 1、训练递归神经网络的难点； 微调 微调是指使用来自其他任务（例如无人监督的训练任务）的参数初始化网络，然后根据手头的任务更新这些参数的技术。例如，NLP架构通常使用像word2vec这样的预训练词嵌入模型，然后在训练期间根据诸如情感分析之类的特定任务更新这些词嵌入模型。 梯度裁剪 梯度裁剪是一种防止在非常深的网络中爆炸梯度的技术。执行梯度裁剪有很多方式，但常见的是当参数矢量的L2范数超过某个阈值时归一化参数矢量的梯度new_gradients=gradients * threshold/l2_norm(gradients)。 手套（GloVe） GloVe是一种用于获得单词的矢量表示（嵌入）的无监督学习算法。GloVe向量与word2vec具有相同的目的，但由于受到共现统计的训练，因此具有不同的向量表示。 1、GloVe：Word表征的全局向量 GoogleLeNet 它是赢得ILSVRC 2014挑战的卷积神经网络架构。网络使用Inception模块来减少参数并提高网络内计算资源的利用率。 GRU 门控循环单元是LSTM单元的简化版本，参数较少。就像LSTM单元一样，它使用门控机制防止RNN通过出现梯度消失的问题。GRU由一个复位门和更新门组成，用于确定旧存储器的哪一部分与当前时间步的新值保持一致。 1、使用RNN编码器-解码器学习短语表示以进行统计机器翻译； 2、循环神经网络教程-使用Python和Theano实现GRU/LSTM RNN； 初始模块 初始模块用于卷积神经网络，通过堆叠1×1卷积降低维数，实现更高效的计算和更深入的网络。 Keras Kears是一个基于Python的深度学习库，包含许多用于深度神经网络的高级构建块。它可以在TensorFlow、Theano或CNTK之上运行。 LSTM 长短期记忆网络是为了通过使用记忆门控机制来防止递归神经网络中的消失梯度问题。使用LSTM单元计算RNN中的隐藏状态，帮助网络有效地传播梯度并学习远程依赖性。 1、长短期记忆网络； 2、了解LSTM网络； 3、循环神经网络教程-使用Python和Theano实现GRU/LSTM RNN； Max-pooling 池操作通常在卷积神经网络中使用。最大池层会选择特征块中的最大值，就像卷积层一样，池化层通过窗口大小和步幅大小进行参数化。例如，我们可以使用步幅大小2在10×10特征矩阵上滑动尺寸为2×2的窗口，在每个窗口内的所有4个值中选择最大值，从而产生新的5×5特征矩阵。合并图层有助于通过仅保留最显着的信息来减少表征的维度，并且在图像输入的情况下，它们提供转换的基本不变性（即使图像移动了几个像素，也将选择相同的最大值）。通常在连续的卷积层之间会插入池化层。 MNIST 该MNIST数据集是最常用的图像识别数据集。它包括60,000个训练和10,000个手写数字测试示例。每个图像大28×28像素，现有技术模型通常在测试装置上达到99.5％或更高的精度。 未完待续···· 本文由阿里云云栖社区组织翻译。 文章原标题《deep-learning-glossary》 作者：wildml 译者：虎说八道，审校：。 文章为简译，更为详细的内容，请查看原文。