零、各类优化算法
0.1 框架梳理优化算法
各类深度学习的优化算法的演变过程：SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的历程。
优化算法的框架：
首先定义：待优化的参数为w，目标函数为f(w)，初始的学习速率为 α \alphaα，现在要开始迭代优化，在每个epoch t中：
其中：β 1 \beta_{1}β
1
是0-1之间值的超参数（一般设置为0.9）。
问：简要解释（不需要数学证明，给出大概解释）如何使用动量m阻止更新的变化，为啥这种低方差有利于学习。
答：动量m实际上是真实梯度的指数移动平均（exponential moving average，这里简称EMA），可以平滑一系列噪声梯度，防止更新变化频繁。当噪声梯度较大时，学习过程会在其中来回跳跃，导致较迟收敛。因此，低方差更新能助于找到局部最小值（local minima）。
1.2 步骤2
adam用自适应学习速率扩展动量概念，通过跟踪 v vv (梯度大小的滚动平均值)来扩展自适应学习速率的概念。
其中：
⊙ \odot⊙ 和 / // 分别是按照元素进行相乘和相除。
β 2 \beta_{2}β
2
是0-1之间值的超参数（一般设置为0.99）。
问：adam加上v \sqrt{\mathbf{v}}
v
后，哪些参数会得到更大的更新？为啥有助于学习呢？
答：v vv 实际上是指数移动平均（EMA）的梯度的elementwise square。v \sqrt{\mathbf{v}}
v
可看作是EMA的绝对值或者是动量momentum m的magnitude。对m mm进行标准化（即m / v m/\sqrt{\mathbf{v}}m/
v
操作），使得大的数变小，小的数变大。这样能给模型参数，小梯度，更大的参数更新，从而能够更快的收敛。
二、Dropout
dropout是一种正则化技术，在训练过程中，dropout随机地将 h hh 隐藏层中的参数置为0（该动作的概率为 p drop p_{\text {drop }}p
drop
），然后用h hh乘常数γ \gammaγ：
2.2 问题2
问题2：为啥在训练时加入dropout，而在测试阶段不用加入dropout？
答：dropout是一种正则化技术。在训练过程中，模型参数在不退出的情况下容易对某些特征进行过拟合，且相邻参数之间存在高度依赖性。在这种情况下，模型是脆弱和过度拟合的，不能处理分布外的未见数据。Dropout可以在训练过程中通过消零梯度来随机切断参数(权重)之间的连接。因此，dropout可以降低参数之间的依赖程度，使训练后的模型具有更好的鲁棒性和泛化能力。在评估过程中，我们需要参数和一致输出之间的所有连接，所以不需要使用dropout。
