3.2.4 stride-步长
以上例子中我们看到的都是每次移动一个像素步长的结果，如果将这个步长修改为2,3，那结果如何？
这样如果以原来的计算公式，那么结果
N + 2P - F + 1 = 6 + 0 -3 +1 = 4N+2P−F+1=6+0−3+1=4
但是移动2个像素才得出一个结果，所以公式变为
\frac{N + 2P - F}{2} + 1 = 1.5 + 1 = 2.52N+2P−F+1=1.5+1=2.5，如果相除不是整数的时候，向下取整，为2。这里并没有加上零填充。
所以最终的公式就为：
对于输入图片大小为N，过滤器大小为F，步长为S，零填充为P，
(\frac{N + 2P - F}{S} + 1),(\frac{N + 2P - F}{S} + 1)(SN+2P−F+1),(SN+2P−F+1)
3.2.5 多通道卷积
当输入有多个通道（channel）时(例如图片可以有 RGB 三个通道)，卷积核需要拥有相同的channel数,每个卷积核 channel 与输入层的对应 channel 进行卷积，将每个 channel 的卷积结果按位相加得到最终的 Feature Map。
3.2.5.1 多卷积核
当有多个卷积核时，可以学习到多种不同的特征，对应产生包含多个 channel 的 Feature Map, 例如上图有两个 filter，所以 output 有两个 channel。这里的多少个卷积核也可理解为多少个神经元。
相当于我们把多个功能的卷积核的计算结果放在一起，比如水平边缘检测和垂直边缘检测器。
3.2.6 卷积总结
我们来通过一个例子看一下结算结果，以及参数的计算
- 假设我们有10 个Filter，每个Filter3 X 3 X 3（计算RGB图片），并且只有一层卷积，那么参数有多少？
计算：每个Filter参数个数为：3 3 3 + 1 bias = 28个权重参数，总共28 * 10 = 280个参数，即使图片任意大小，我们这层的参数也就这么多。
- 假设一张200 200 3的图片，进行刚才的FIlter,步长为1，最终为了保证最后输出的大小为200 * 200，需要设置多大的零填充
(\frac{N + 2P - F}{s} + 1) = N(sN+2P−F+1)=N
P = \frac{(N -1) * s + F - N}{2} = \frac{199 + 3 - 200}{2} = 1P=2(N−1)∗s+F−N=2199+3−200=1
3.2.6.1 设计单个卷积Filter的计算公式
假设神经网络某层ll的输入：
- inputs: n_{h}^{[l -1]},n_{w}^{[l -1]},n_{c}^{[l -1]}nh[l−1],nw[l−1],nc[l−1]
卷积层参数设置：
- f^{[l]}f[l]:filter的大小
- p^{[l]}p[l]:padding的大小
- s^{[l]}s[l]:stride大小
- n_{c}^{[l]}nc[l]:filter的总数量
- outputs：n_{h}^{[l]},n_{w}^{[l]},n_{c}^{[l]}nh[l],nw[l],nc[l]
所以通用的表示每一层：
- 每个Filter：f^{[l]} * f^{[l]} * n_{c}^{[l -1]}f[l]∗f[l]∗nc[l−1]
- 权重Weights：f^{[l]} * f^{[l]} * n_{c}^{[l -1]} * n_{c}^{[l]}f[l]∗f[l]∗nc[l−1]∗nc[l]
- 应用激活函数Activations：a^{[l]} = n_{h}^{[l]},n_{w}^{[l]},n_{c}^{[l]}a[l]=nh[l],nw[l],nc[l]
- 偏差bias：1 * 1 * 1 * n_{c}^{[l]}1∗1∗1∗nc[l]，通常会用4维度来表示
之前的式子我们就可以简化成,假设多个样本编程向量的形式
Z^{[l]} = W^{[l]} * X^{[l-1]} + b^{[l]}Z[l]=W[l]∗X[l−1]+b[l]
A^{[l]} = g(Z^{[l]})A[l]=g(Z[l])
3.2.7 池化层(Pooling)
池化层主要对卷积层学习到的特征图进行亚采样（subsampling）处理，主要由两种
- 最大池化：Max Pooling,取窗口内的最大值作为输出
- 平均池化：Avg Pooling,取窗口内的所有值的均值作为输出
意义在于：
- 降低了后续网络层的输入维度，缩减模型大小，提高计算速度
- 提高了Feature Map 的鲁棒性，防止过拟合
对于一个输入的图片，我们使用一个区域大小为2 2，步长为2的参数进行求最大值操作。同样池化也有一组参数，f, sf,s，得到2 2的大小。当然如果我们调整这个超参数，比如说3 * 3，那么结果就不一样了，通常选择默认都是f = 2 * 2, s = 2f=2∗2,s=2
池化超参数特点：不需要进行学习，不像卷积通过梯度下降进行更新。
如果是平均池化则：
3.2.8 全连接层
卷积层+激活层+池化层可以看成是CNN的特征学习/特征提取层，而学习到的特征（Feature Map）最终应用于模型任务（分类、回归）：
- 先对所有 Feature Map 进行扁平化（flatten, 即 reshape 成 1 x N 向量）
- 再接一个或多个全连接层，进行模型学习
3.2.9 总结
掌握卷积神经网路的组成
- 掌握卷积的计算过程
- 卷积过滤器个数
- 卷积过滤器大小
- 卷积过滤器步数
- 卷积过滤器零填充
掌握池化的计算过程原理
