一、什么是随机梯度下降法

随机梯度下降是随机取样替代完整的样本，主要作用是提高迭代速度，避免陷入庞大计算量的泥沼。 对于整个样本做GD又称为批梯度下降（BGD，batch gradient descent）。 随机梯度下降（SGD, stochastic gradient descent） ：名字中已经体现了核心思想，随机选取一个店做梯度下降，而不是遍历所有样本后进行参数迭代。

二、算法分析

之前我们介绍过最速梯度下降法，即只要向与导数的符号相反的方向移动 x，g(x) 就会自然而然地沿着最小值的方向前进了。也就是自动更新参数。但是最速下降法除了计算花时间以外，还有一个缺点——容易陷入局部最优解。在讲解回归时，我们使用的是平方误差目标函数。这个函数形式 简单，所以用最速下降法也没有问题。现在我们来考虑稍微复杂 一点的，比如下列的图这种形状的函数：

用最速下降法来找函数的最小值时，必须先要决定从哪个 x 开始 找起。之前我们用 g(x) 说明的时候是从 x = 3 或者 x = −1 开始的，这是我们随便选择的，选用随机数作为初始值的情况比较多。不过这样每次初始值都会变，进而导致陷入局部最优解的问题。假设这张图中标记的位置就是初始值：

那么从这个点开始找，可以求出最小值。但是如果将下列这个点作为初始值，还没计算完就会停止，这就叫陷入了局部最优解。

随机梯度下降法就是以最速下降法为基础的。我们先复习一下最速下降法，还记得最速下降法的参数更新表达式吗？

这个表达式使用了所有训练数据的误差，而在随机梯度下降法中会随机选择一个训练数据，并使用它来更新参数。这个表达 式中的 k 就是被随机选中的数据索引。

所以最速下降法更新 1 次参数的时间，随机梯度下降法可以更新 n 次，速度上明显提升。 此外，随机梯度下降法由于训练数据是随机选择的，更新参数时使用的又是选择数据时的梯度，所以不容易陷入目标函数的局部最优解。并且在实际计算过程中，的确会收敛！这样的做法就叫做随机梯度下降法！

上述提到的是随机选择1个训练数据的做法，此外还有随机选择 m 个训练数据来更新参数的做法。设随机选择 m 个训练数据的索引的集合为 K，那么我们这样来更新参数：

假设训练数据有 100 个，那么在 m = 10 时，创建一个有 10 个随机数的索引的集合，例如 K = {61, 53, 59, 16, 30, 21, 85, 31, 51, 10}，然后重复更新参数就可以了，这样的做法称为小批量（mini-batch）梯度下降法，这是一种介于最速下降法和随机梯度下降法之间的方法。

三、总结

不管是随机梯度下降法还是小批量梯度下降法，我们都必须考虑学习率 η。把 η 设置为合适的值是很重要的。学习率的决定是一个很难的问题，可以通过反复尝试来找到合适的值，除此之外还有其他的几个办法，这是我们后续所要学习的！这三个算法总结成一句话：最速梯度下降法是用每个对应的估计值减去实际值求和，随机梯度下降法是用选定的一个估计值减去实际值求和，批量梯度下降法是用选定的多个估计值减去实际值求和。