一、摘要

梯度下降优化算法虽然越来越流行，但经常被用作黑盒优化器，因为很难找到对其优缺点的实际解释。本文旨在为读者提供有关不同算法行为的直观信息，使他们能够使用这些算法。在本概述过程中，我们将介绍梯度下降的不同变体，总结挑战，介绍最常见的优化算法，回顾并行和分布式环境中的体系结构，并研究优化梯度下降的其他策略。

二、介绍

梯度下降法是最流行的优化算法之一，也是迄今为止最常用的神经网络优化方法。同时，每个深度的深度学习lib库都包含各种算法来实现梯度下降的优化（例如lasagne’s2，caffe’s3，keras’4文档）。然而，这些算法通常被用作黑盒优化器，因为很难找到它们的优缺点的实际解释。

本文旨在为读者提供有关优化梯度下降的不同算法行为的直观信息，这将有助于读者使用这些算法。在第2节中，我们首先来看梯度下降的不同变体。然后，我们将在第3节简要总结培训期间遇到的挑战。随后，在第4节中，我们将介绍最常见的优化算法，展示它们解决这些挑战的动机，以及这如何导致其更新规则的推导。之后，在第5节中，我们将简要介绍在并行和分布式环境中优化梯度下降的算法和体系结构。最后，我们将考虑在第6节中有助于优化梯度下降的附加策略。

梯度下降是一种最小化由模型参数参数化的目标函数，通过在目标函数梯度的相反方向更新参数。学习率决定了我们为达到（局部）最小值而采取的步长的大小。换句话说，我们沿着目标函数所产生的曲面坡度的方向向下走，直到到达一个山谷。

三、梯度下降变体

梯度下降法有三种变体，它们在计算目标函数梯度时使用的数据量上有所不同。根据数据量，我们在参数更新的准确性和执行更新所需的时间之间进行权衡。

3.1 批量梯度下降（Batch gradient descent）

批量梯度下降，计算目标函数的梯度，以获得整个训练数据集的参数：θ

θ=θ−η∇θJ(θ)

由于我们需要计算整个数据集的梯度，以便只执行一次更新，因此批量梯度下降可能非常缓慢，并且对于内存中不适合的数据集来说非常困难。批量梯度下降也不允许我们在线更新我们的模型，即使用动态的新示例。

在代码中，批处理梯度下降类似于：

for i in range(epochs):
    params_grad = evaluate_gradient(loss_function, data, params)
    params = params - learning_rate * params_grad

对于预定义数量的epochs，我们首先计算整个数据集对应损失函数的梯度向量params_grad。我们的参数向量params。请注意，最先进的深度学习库提供了自动微分，可以有效地计算梯度。如果你自己推导梯度，那么梯度检查是个好主意。

然后，我们在梯度方向上更新参数，学习速率决定我们执行的更新的大小。对于凸误差曲面，批梯度下降法保证收敛到全局最小值；对于非凸曲面，批梯度下降法保证收敛到局部最小值。

3.2 随机梯度下降（Stochastic gradient descent）

相比之下，随机梯度下降（SGD）为每个训练示例执行参数更新x ( i ) x^{(i)}x(i) 和 y ( i ) y^{(i)}y(i) ：

θ=θ−η∇θJ(θ;x(i);y(i))

批量梯度下降对大型数据集执行冗余计算，因为它在每次参数更新之前重新计算类似示例的梯度。SGD通过一次执行一个更新来消除这种冗余。因此，它通常更快，也可以用于在线学习。SGD执行频繁的更新，其方差很高，导致目标函数剧烈波动，如图所示。

当批量梯度下降收敛到参数所处盆地的最小值时，SGD的波动一方面使其能够跳到新的、可能更好的局部极小值。另一方面，这最终使收敛到精确的最小值变得复杂，因为SGD将保持超调。然而，研究表明，当我们缓慢降低学习速度时，SGD显示出与批梯度下降相同的收敛行为，几乎可以肯定地分别收敛到非凸优化和凸优化的局部或全局最小值。它的代码只是在训练示例上添加一个循环，并对每个示例计算梯度。请注意，我们按照第6.1节中的说明，在每个epoch对训练数据进行洗牌。

for i in range(epochs):
    np.random.shuffle(data)
    for example in data:
        params_grad = evaluate_gradient(loss_function, example, params)
        params = params - learning_rate * params_grad

3.3 小批量梯度下降（Mini-batch gradient descent）

小批量梯度下降最终将充分利用这两个方面的优势，并对每个小批量训练示例执行更新：

θ=θ−η∇θJ(θ;x(i:i+n);y(i;i+n))

这样，减少了参数更新的方差，从而可以导致更稳定的收敛，可以利用最先进的深度学习库中常见的高度优化的矩阵优化，这使得计算梯度非常高效。常见的小批量大小在50到256之间，但在不同的应用中可能会有所不同。当训练神经网络时，通常选择小批量梯度下降算法，当使用小批量时，通常也使用术语SGD。

四、面临的困难

小批量梯度下降并不能保证良好的收敛性，但提供了一些需要解决的挑战

• 选择合适的学习速度可能很困难。学习速率太小会导致收敛速度非常缓慢，而学习速率太大会阻碍收敛，并导致损失函数在最小值附近波动，甚至发散。
• 学习率计划尝试在培训期间通过退火等方式调整学习率，根据预定义的时间表降低学习率，或在不同时期之间的目标变化低于阈值时降低学习率。然而，这些时间表和阈值必须事先定义，因此无法适应数据集的特征。
• 此外，相同的学习率适用于所有参数更新。如果我们的数据非常稀疏，并且我们的特征具有非常不同的频率，那么我们可能不希望将所有特征更新到相同的程度，而是对很少出现的特征执行更大的更新。
• 最小化神经网络常见的高度非凸误差函数的另一个关键挑战是避免陷入其众多次优局部极小值。Dauphin等人认为，困难实际上不是来自局部极小值，而是来自鞍点，即一个维度向上倾斜，另一个维度向下倾斜的点。这些鞍点通常被相同误差的平台包围，这使得SGD很难逃脱，因为梯度在所有维度上都接近于零。

五、梯度下降优化算法

在下文中，我们将概述深度学习社区为应对上述挑战而广泛使用的一些算法。我们不会讨论在高维数据集的实际计算中不可行的算法，例如二阶方法，如牛顿法。

5.1 动量（Momentum）

SGD难以在沟壑中航行，即曲面在一个维度上的曲线比在另一个维度上的曲线陡峭得多的区域，这在局部最优点附近很常见。在这些情况下，SGD在沟谷的斜坡上振荡，同时沿着底部向局部最优方向缓慢前进，如图所示。

动量是一种有助于在相关方向上加速SGD并抑制振荡的方法，如图b所示。它通过将过去时间步长的更新向量的一小部分添加到当前更新向量来实现这一点：

动量项通常设置为0.9或类似值。

基本上，当使用动量时，我们将球推下山。球在下坡时积累动量，在路上越来越快（如果有空气阻力，直到达到其极限速度，即1）。同样的情况也发生在参数更新上：对于渐变指向相同方向的维度，动量项增加；对于渐变改变方向的维度，动量项减少更新。因此，我们获得了更快的收敛速度和更少的振荡。

5.2 Nesterov accelerated gradient

然而，一个从山上滚下来的球，盲目地沿着斜坡，是非常不令人满意的。我们希望有一个更智能的球，一个知道它要去哪里的球，这样它知道在山坡再次向上倾斜之前减速。

Nesterov accelerated gradient是一种使动量项具有这种预见性的方法。我们知道我们将使用动量项来移动参数。因此，为我们提供了参数下一个位置的近似值（完全更新时缺少梯度），大致了解了参数的位置。我们现在可以通过计算梯度（不是我们当前参数的，而是我们参数的近似未来位置的）有效地向前看。

我们再次将动量项的值设置为0.9左右。动量首先计算当前梯度（图3中的蓝色小矢量），然后在更新的累积梯度（蓝色大矢量）的方向上进行大跳跃，而NAG首先在先前累积梯度（棕色矢量）的方向上进行大跳跃，测量梯度，然后进行校正（绿色矢量）。此预期更新可防止我们进行得太快，从而提高响应能力，从而显著提高RNN在许多任务上的性能。

现在我们能够根据误差函数的斜率调整更新，并反过来加快SGD，我们还希望根据每个参数的重要性调整更新，以执行更大或更小的更新。

5.3 Adagrad

Adagrad是一种基于梯度的优化算法，它可以实现以下功能：根据参数调整学习速率，对不频繁的参数执行较大的更新，对频繁的参数执行较小的更新。因此，它非常适合处理稀疏数据。Dean等人发现Adagrad极大地提高了SGD的鲁棒性，并将其用于谷歌的大规模神经网络训练，其中包括学会在Youtube视频中识别猫。此外，Pennington等人使用Adagrad来训练词嵌入，因为不常用词比常用词需要更大的更新。

之前，我们一次对所有参数执行更新，因为每个参数使用相同的学习速率。由于Adagrad在每个时间步对每个参数使用不同的学习速率，我们首先显示Adagrad的每个参数更新，然后将其矢量化。

在每个时间步，每个参数的SGD更新将变为：

在其更新规则中，Adagrad根据为以下各项计算的过去梯度，修改每个参数在每个时间步的一般学习率：

Gt∈Rd∗d 是一个对角矩阵，其中每个对角元素是梯度到时间步长的平方和，ϵ \epsilonϵ 是一个平滑项，可避免被零除（通常为1e−8)。 有趣的是，如果没有平方根运算，该算法的性能要差得多。

Adagrad的主要优点之一是，它无需手动调整学习速率。大多数实现都使用默认值0.01，并保持该值不变。

Adagrad的主要缺点是分母中平方梯度的累积，由于每个附加项都是正的，因此累积的总和在训练期间不断增长。这反过来又会导致学习率下降，最终变得无穷小，此时算法不再能够获得额外的知识，以下算法旨在解决此缺陷。

5.4 Adadelta

Adadelta是Adagrad的一个扩展，旨在降低其攻击性、单调递减的学习率。Adadelta没有累加所有过去的平方梯度，而是将累加过去梯度的窗口限制为某个固定大小：w。

不是低效地存储以前的平方梯度，而是将梯度之和递归定义为所有过去平方梯度的衰减平均值。然后，时间步的运行平均值 E [ g 2 ] t E[g^2]_tE[g2]t 仅取决于之前的平均值和当前梯度（作为与动量项类似的分数）：

我们将其设置为与动量项类似的值，约为0.9。为了清楚起见，我们现在根据参数更新向量重写我们的普通SGD更新：

因此，我们先前导出的Adagrad的参数更新向量的形式如下：

我们现在简单地用过去平方梯度 G t G_tGt 的衰减平均值替换对角线矩阵：

5.5 RMSprop

RMSprop是Geoff Hinton在其Coursera课程中提出的一种未发表的自适应学习率方法。

RMSprop和Adadelta都是在同一时间独立开发的，这是因为需要解决Adagrad学习率急剧下降的问题。RMSprop实际上与我们在上面推导的Adadelta的第一个更新向量相同：

RMSprop还将学习速率除以平方梯度的指数衰减平均值。Hinton建议设置为0.9，而学习率的良好默认值为0.001。

5.6 Adam

自适应矩估计（Adam）是计算每个参数的自适应学习率的另一种方法。除了存储过去平方梯度（如Adadelta和RMSprop）的指数衰减平均值外，Adam还保持过去梯度的指数衰减平均值，类似于动量：

它们通过计算偏差修正的第一和第二矩估计值来抵消这些偏差：

然后，他们使用这些来更新参数，正如我们在Adadelta和RMSprop中看到的那样，这产生了Adam更新规则：

作者建议的默认值是 β 1 = 0.9，β 2 = 0.999 ，他们的经验表明，Adam在实践中运行良好，并优于其他自适应学习方法算法。

5.7 算法的可视化

以下两幅图提供了对所提出的优化算法的优化行为的一些直觉。

在图a中，我们看到了它们在损失面轮廓上的路径。所有这些都从同一点开始，通过不同的路径达到最小值。请注意，Adagrad、Adadelta和RMSprop立即朝着正确的方向出发，并以同样快的速度收敛，而Momentum和NAG则偏离了轨道，让人联想到一个球滚下山的画面。然而，NAG能够更快地纠正它的路线，因为它通过向前看并朝着最低限度前进，从而提高了响应能力。

图b显示了算法在鞍点处的行为，即一个维度具有正斜率，而另一个维度具有负斜率的点，正如我们前面提到的，这给SGD带来了困难。请注意，SGD、MONTORM和NAG发现很难打破对称，尽管后两者最终设法逃离鞍点，而Adagrad、RMSprop和ADADDELTA则迅速向下倾斜，Adadelta领先。

如我们所见，自适应学习率方法，即Adagrad、Adadelta、RMSprop和Adam最适合这些场景，并为这些场景提供了最佳的收敛性。

5.8 使用哪种优化器？

那么，您应该使用哪个优化器呢？如果您的输入数据是稀疏的，那么您可能会使用其中一种自适应学习速率方法获得最佳结果。另一个好处是，您不需要调整学习速率，但可能会使用默认值获得最佳结果。

总之，RMSprop是Adagrad的一个扩展，它解决了学习率急剧下降的问题。它与Adadelta相同，只是Adadelta使用numinator更新规则中参数更新的RMS。最后，Adam将偏差校正和动量添加到RMSprop中。到目前为止，RMSprop、Adadelta和Adam是非常相似的算法，它们在相似的环境中表现良好。Kingma等人表明，随着梯度变得更稀疏，其偏差校正有助于Adam在优化结束时略优于RMSprop。到目前为止，亚当可能是最好的整体选择。

有趣的是，最近的许多论文使用vanilla SGD，没有动量和简单的学习率退火计划。如图所示，SGD通常能够找到一个最小值，但它可能需要比某些优化器更长的时间，更依赖于稳健的初始化和退火计划，并且可能会陷入鞍点而不是局部最小值。因此，如果您关心快速收敛并训练深度或复杂的神经网络，则应选择一种自适应学习速率方法。

六、优化SGD的其他策略

6.1 洗牌和课程学习（Shuffing and Curriculum Learning）

通常，我们希望避免以有意义的顺序为模型提供训练示例，因为这可能会使优化算法产生偏差。因此，在每个epoch之后洗牌训练数据通常是一个好主意。

另一方面，在某些情况下，我们的目标是逐步解决更难的问题，以有意义的顺序提供训练示例实际上可能会提高性能和更好的收敛性。建立这种有意义的秩序的方法称为课程学习。

Zaremba和Sutskever只能够训练LSTM使用课程学习评估简单的课程，并表明组合或混合策略优于单纯策略，后者通过增加难度来分类示例。

6.2 批量标准化（Batch normalization）

为了便于学习，我们通常通过使用零均值和单位方差初始化参数来规范化参数的初始值。随着训练的进行，我们在不同程度上更新参数，我们会失去这种规范化，这会减慢训练速度，并随着网络的加深而放大变化。

批次规范化为每个小批次重新建立这些规范化，并且更改也会通过操作反向传播。通过将标准化作为模型体系结构的一部分，我们可以使用更高的学习率，而不必关注初始化参数。批处理规范化还充当正则化器，减少（有时甚至消除）退出的需要。

6.3 提前停止（Early stopping）

根据杰夫·辛顿的说法：“提前停车是一顿漂亮的免费午餐”。因此，在培训期间，您应该始终监视验证集上的错误，如果验证错误没有得到足够的改善，则应停止。

6.4 梯度噪声（Gradient noise）

Neelakantan等人[12]在每个梯度更新中添加遵循高斯分布 N ( 0 , σ t 2 ) N(0,\sigma_t^2)N(0,σt2) 的噪声：

他们根据以下计划对方差进行退火：

他们表明，添加这种噪声可以使网络对较差的初始化更加健壮，并有助于训练特别深入和复杂的网络。他们怀疑，增加的噪声使模型有更多的机会逃脱并找到新的局部极小值，而对于较深的模型，这种情况更为频繁。

七、结论

在这篇博文中，我们初步了解了梯度下降的三种变体，其中最流行的是小批量梯度下降。然后，我们研究了优化SGD最常用的算法：动量法、Nesterov加速梯度法、Adagrad法、Adadelta法、RMSprop法、Adam法，以及优化异步SGD的不同算法。最后，我们考虑了其他改善SGD的策略，如洗牌和课程学习、批量规范化和提前停止。

References

[1] Martin Abadi, Ashish Agarwal, Paul Barham, Eugene Brevdo, Zhifeng Chen, Craig Citro, Greg Corrado, Andy Davis, Jeffrey Dean, Matthieu Devin, Sanjay Ghemawat, Ian Goodfellow, Andrew Harp, Geoffrey Irving, Michael Isard, Yangqing Jia, Lukasz Kaiser, Manjunath Kudlur, Josh Levenberg, Dan Man, Rajat Monga, Sherry Moore, Derek Murray, Jon Shlens, Benoit Steiner, Ilya Sutskever, Paul Tucker, Vincent Vanhoucke, Vijay Vasudevan, Oriol Vinyals, Pete Warden, Martin Wicke, Yuan Yu, and Xiaoqiang Zheng. TensorFlow : Large-Scale Machine Learning on Heterogeneous Distributed Systems. 2015.

[2] Yoshua Bengio, Nicolas Boulanger-Lewandowski, and Razvan Pascanu. Advances in Optimizing Recurrent Networks. 2012.

[3] Yoshua Bengio, Jérôme Louradour, Ronan Collobert, and Jason Weston. Curriculum learning. Proceedings of the 26th annual international conference on machine learning, pages 41–48, 2009.

[4] C. Darken, J. Chang, and J. Moody. Learning rate schedules for faster stochastic gradient search. Neural Networks for Signal Processing II Proceedings of the 1992 IEEE Workshop, (September):1–11, 1992.

[5] Yann N. Dauphin, Razvan Pascanu, Caglar Gulcehre, Kyunghyun Cho, Surya Ganguli, and Yoshua Bengio. Identifying and attacking the saddle point problem in high-dimensional nonconvex optimization. arXiv, pages 1–14, 2014.

[6] Jeffrey Dean, Greg S. Corrado, Rajat Monga, Kai Chen, Matthieu Devin, Quoc V. Le, Mark Z. Mao, Marc Aurelio Ranzato, Andrew Senior, Paul Tucker, Ke Yang, and Andrew Y. Ng. Large Scale Distributed Deep Networks. NIPS 2012: Neural Information Processing Systems, pages 1–11, 2012.

[7] John Duchi, Elad Hazan, and Yoram Singer. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. Journal of Machine Learning Research, 12:2121–2159, 2011.

[8] Sergey Ioffe and Christian Szegedy. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. arXiv preprint arXiv:1502.03167v3, 2015.

[9] Diederik P. Kingma and Jimmy Lei Ba. Adam: a Method for Stochastic Optimization. International Conference on Learning Representations, pages 1–13, 2015.

[10] Yann LeCun, Leon Bottou, Genevieve B. Orr, and Klaus Robert Müller. Efficient BackProp. Neural Networks: Tricks of the Trade, 1524:9–50, 1998.

[11] H. Brendan Mcmahan and Matthew Streeter. Delay-Tolerant Algorithms for Asynchronous Distributed Online Learning. Advances in Neural Information Processing Systems (Proceedings of NIPS), pages 1–9, 2014.

[12] Arvind Neelakantan, Luke Vilnis, Quoc V. Le, Ilya Sutskever, Lukasz Kaiser, Karol Kurach, and James Martens. Adding Gradient Noise Improves Learning for Very Deep Networks. pages 1–11, 2015.

[13] Yurii Nesterov. A method for unconstrained convex minimization problem with the rate of convergence o(1/k2). Doklady ANSSSR (translated as Soviet.Math.Docl.), 269:543–547.

[14] Feng Niu, Benjamin Recht, R Christopher, and Stephen J Wright. Hogwild!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent. pages 1–22, 2011.

[15] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global Vectors for Word Representation. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pages 1532–1543, 2014. 11

[16] Ning Qian. On the momentum term in gradient descent learning algorithms. Neural networks : the official journal of the International Neural Network Society, 12(1):145–151, 1999.

[17] Herbert Robbins and Sutton Monro. A Stochastic Approximation Method. The Annals of Mathematical Statistics, 22(3):400–407, 1951.

[18] Ilya Sutskever. Training Recurrent neural Networks. PhD thesis, page 101, 2013.

[19] Richard S Sutton. Two problems with backpropagation and other steepest-descent learning procedures for networks, 1986. [20] Wojciech Zaremba and Ilya Sutskever. Learning to Execute. pages 1–25, 2014.

[21] Matthew D. Zeiler. ADADELTA: An Adaptive Learning Rate Method. arXiv preprint arXiv:1212.5701, 2012.

[22] Sixin Zhang, Anna Choromanska, and Yann LeCun. Deep learning with Elastic Averaging SGD. Neural Information Processing Systems Conference (NIPS 2015), pages 1–24, 2015.

, 2014.

[21] Matthew D. Zeiler. ADADELTA: An Adaptive Learning Rate Method. arXiv preprint arXiv:1212.5701, 2012.

[22] Sixin Zhang, Anna Choromanska, and Yann LeCun. Deep learning with Elastic Averaging SGD. Neural Information Processing Systems Conference (NIPS 2015), pages 1–24, 2015.