学习目标
- 目标
- 了解卷积神经网络的构成
- 记忆卷积的原理以及计算过程
- 了解池化的作用以及计算过程
- 应用
- 无
3.2.1 卷积神经网络的组成
- 定义
- 卷积神经网络由一个或多个卷积层、池化层以及全连接层等组成。与其他深度学习结构相比，卷积神经网络在图像等方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他浅层或深度神经网络，卷积神经网络需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。
我们来看一下卷积网络的整体结构什么样子。
其中包含了几个主要结构
- 卷积层（Convolutions）
- 池化层（Subsampling）
- 全连接层（Full connection）
- 激活函数
3.2.2 卷积层
- 目的
- 卷积运算的目的是提取输入的不同特征，某些卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。
- 参数：
- size:卷积核/过滤器大小，选择有1 1， 3 3， 5 * 5
- padding：零填充，Valid 与Same
- stride:步长，通常默认为1
- 计算公式
3.2.2.1 卷积运算过程
对于之前介绍的卷积运算过程，我们用一张动图来表示更好理解些。一下计算中，假设图片长宽相等，设为N
- 一个步长，3 X 3 卷积核运算
假设是一张5 X 5 的单通道图片，通过使用3 X 3 大小的卷积核运算得到一个 3 X 3大小的运算结果（图片像素数值仅供参考）
我们会发现进行卷积之后的图片变小了，假设N为图片大小，F为卷积核大小
相当于N - F + 1 = 5 - 3 + 1 = 3N−F+1=5−3+1=3
如果我们换一个卷积核大小或者加入很多层卷积之后，图像可能最后就变成了1 X 1 大小，这不是我们希望看到的结果。并且对于原始图片当中的边缘像素来说，只计算了一遍，二对于中间的像素会有很多次过滤器与之计算，这样导致对边缘信息的丢失。
- 缺点
- 图像变小
- 边缘信息丢失
3.2.3 padding-零填充
零填充：在图片像素的最外层加上若干层0值，若一层，记做p =1。
为什么增加的是0？
因为0在权重乘积和运算中对最终结果不造成影响，也就避免了图片增加了额外的干扰信息。
这张图中，还是移动一个像素，并且外面增加了一层0。那么最终计算结果我们可以这样用公式来计算：
5 + 2 * p - 3 + 1 = 55+2∗p−3+1=5
P为1，那么最终特征结果为5。实际上我们可以填充更多的像素，假设为2层，则
5 + 2 * 2 - 3 + 1 = 75+2∗2−3+1=7，这样得到的观察特征大小比之前图片大小还大。所以我们对于零填充会有一些选择，该填充多少？
3.2.3.1 Valid and Same卷积
有两种两种形式，所以为了避免上述情况，大家选择都是Same这种填充卷积计算方式
- Valid :不填充，也就是最终大小为
- (N - F + 1) * (N - F + 1)(N−F+1)∗(N−F+1)
- Same：输出大小与原图大小一致，那么 NN变成了N + 2PN+2P
(N + 2P - F + 1) * (N + 2P - F + 1)(N+2P−F+1)∗(N+2P−F+1)
那也就意味着，之前大小与之后的大小一样，得出下面的等式
(N + 2P - F + 1) = N(N+2P−F+1)=N
P = \frac{F -1}{2}P=2F−1
所以当知道了卷积核的大小之后，就可以得出要填充多少层像素。
3.2.3.2 奇数维度的过滤器
通过上面的式子，如果F不是奇数而是偶数个，那么最终计算结果不是一个整数，造成0.5,1.5.....这种情况，这样填充不均匀，所以也就是为什么卷积核默认都去使用奇数维度大小
- 1 1，3 3， 5 5，7 7
- 另一个解释角度
- 奇数维度的过滤器有中心，便于指出过滤器的位置
当然这个都是一些假设的原因，最终原因还是在F对于计算结果的影响。所以通常选择奇数维度的过滤器，是大家约定成俗的结果，可能也是基于大量实验奇数能得出更好的结果。
