学习目标
- 目标
- 知道常用的一些神经网络超参数
- 知道BN层的意义以及数学原理
- 应用
- 无
2.4.1 神经网络调优
我们经常会涉及到参数的调优，也称之为超参数调优。目前我们从第二部分中讲过的超参数有
- 算法层面：
- 学习率\alphaα
- \beta1,\beta2, \epsilonβ1,β2,ϵ: Adam 优化算法的超参数，常设为 0.9、0.999、10^{-8}10−8
- \lambdaλ：正则化网络参数，
- 网络层面：
- hidden units：各隐藏层神经元个数
- layers：神经网络层数
2.4.1.1 调参技巧
对于调参，通常采用跟机器学习中介绍的网格搜索一致，让所有参数的可能组合在一起，得到N组结果。然后去测试每一组的效果去选择。
假设我们现在有两个参数
\alphaα: 0.1,0.01,0.001，\betaβ:0.8,0.88,0.9
这样会有9种组合，[0.1, 0.8], [0.1, 0.88], [0.1, 0.9]…….
- 合理的参数设置
- 学习率\alphaα：0.0001、0.001、0.01、0.1，跨度稍微大一些。
- 算法参数\betaβ， 0.999、0.9995、0.998等，尽可能的选择接近于1的值
注：而指数移动平均值参数：β 从 0.9 （相当于近10天的影响）增加到 0.9005 对结果（1/(1-β)）几乎没有影响，而 β 从 0.999 到 0.9995 对结果的影响会较大，因为是指数级增加。通过介绍过的式子理解S_{100} = 0.1Y_{100} + 0.1 * 0.9Y_{99} + 0.1 * {(0.9)}^2Y_{98} + ...S100=0.1Y100+0.1∗0.9Y99+0.1∗(0.9)2Y98+...
2.4.1.2 运行
通常我们有这么多参数组合，每一个组合运行训练都需要很长时间，但是如果资源允许的话，可以同时并行的训练多个参数模型，并观察效果。如果资源不允许的话，还是得一个模型一个模型的运行，并时刻观察损失的变化
所以对于这么多的超参数，调优是一件复杂的事情，怎么让这么多的超参数范围，工作效果还能达到更好，训练变得更容易呢？
2.4.2 批标准化（Batch Normalization）
Batch Normalization论文地址：https://arxiv.org/abs/1502.03167
其中最开头介绍是这样的：
训练深度神经网络很复杂，因为在训练期间每层输入的分布发生变化，因为前一层的参数发生了变化。这通过要求较低的学习率和仔细的参数初始化来减慢训练速度，并且使得训练具有饱和非线性的模型变得非常困难。我们将这种现象称为** 内部协变量偏移** ，并通过 **标准化层** 输入来解决问题。我们的方法的优势在于使标准化成为模型体系结构的一部分，并为每个培训小批量执行标准化。批量标准化允许我们使用更高的学习率并且不太关心初始化。它还可以充当调节器，在某些情况下可以消除对Dropout的需求。应用于最先进的图像分类模型，批量标准化实现了相同的精度，培训步骤减少了14倍，并且显着地超过了原始模型。使用批量标准化网络的集合，我们改进了ImageNet分类的最佳发布结果：达到4.9％的前5个验证错误（和4.8％的测试错误），超出了人类评估者的准确性。
首先我们还是回到之前，我们对输入特征 X 使用了标准化处理。标准化化后的优化得到了加速。
对于深层网络呢？我们接下来看一下这个公式，这是向量的表示。表示每Mini-batch有m个样本。
- m个样本的向量表示
Z^{[L]} = W^{[L]}A^{[L-1]}+b^{[L]}Z[L]=W[L]A[L−1]+b[L] A^{[L]}=g^{[L]}(Z^{[L]})A[L]=g[L](Z[L]) 输入A^{[L-1]}A[L−1], 输出A^{[L]}A[L]
深层网络当中不止是初始的特征输入，而到了隐藏层也有输出结果，所以我们是否能够对隐层的输入Z^{[L]}Z[L]进行标准化，注意这里不是经过激活函数之后的A^{[L]}A[L]
