前言

本文属于 线性回归算法【AIoT阶段三】（尚未更新），这里截取自其中一段内容，方便读者理解和根据需求快速阅读。本文通过公式推导+代码两个方面同时进行，因为涉及到代码的编译运行，如果你没有NumPy，Pandas，Matplotlib的基础，建议先修文章：数据分析三剑客【AIoT阶段一（下）】（十万字博文 保姆级讲解），本文是梯度下降的第二部分，学之前需先修：梯度下降【无约束最优化问题】，后续还会有：梯度下降优化，梯度下降优化进阶 （暂未更新）

1.梯度下降方法

1.1 三种梯度下降不同

🚩梯度下降分三类：批量梯度下降BGD（Batch Gradient Descent）、小批量梯度下降 MBGD（Mini-Batch Gradient Descent）、随机梯度下降SGD（Stochastic Gradient Descent）。

三种梯度下降有什么不同呢？我们从梯度下降步骤开始讲起，梯度下降步骤分以下四步：

三种梯度下降不同，体现在第二步中：

1.2 线性回归梯度更新公式

🚩回顾上一讲公式！

最小二乘法公式如下：

矩阵写法：

接着我们来讲解如何求解上面梯度下降的第 2 步，即我们要推导出损失函数的导函数来。

1.3 批量梯度下降BGD

🚩批量梯度下降法是最原始的形式，它是指在每次迭代使用所有样本来进行梯度的更新。每次迭代参数更新公式如下：

注意这里更新时存在一个求和函数，即为对所有样本进行计算处理！

优点：

  （1）一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。

  （2）由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优。

缺点：

  （1）当样本数目n很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。

从迭代的次数上来看:BGD迭代的次数相对较少。其迭代的收敛曲线示意图可以表示如下：

1.4 随机梯度下降SGD

🚩随机梯度下降法不同于批量梯度下降，随机梯度下降是每次迭代使用一个样本来对参数进行更新。使得训练速度加快。每次迭代参数更新公式如下：

批量梯度下降算法每次都会使用全部训练样本，因此这些计算是冗余的，因为每次都使用完全相同的样本集。而随机梯度下降算法每次只随机选择一个样本来更新模型参数，因此每次的学习是非常快速的。

优点：（1）由于不是在全部训练数据上的更新计算，而是在每轮迭代中，随机选择一条数据进行更新计算，这样每一轮参数的更新速度大大加快。

  缺点：

  （1）准确度下降。由于即使在目标函数为强凸函数的情况下,SGD仍旧无法做到线性收敛。（2）可能会收敛到局部最优，由于单个样本并不能代表全体样本的趋势。

解释一下为什么SGD收敛速度比BGD要快：

1.5 小批量梯度下降MBGD

相对于随机梯度下降算法，小批量梯度下降算法降低了收敛波动性， 即降低了参数更新的方差，使得更新更加稳定。相对于全量梯度下降，其提高了每次学习的速度。并且其不用担心内存瓶颈从而可以利用矩阵运算进行高效计算。

一般情况下，小批量梯度下降是梯度下降的推荐变体，特别是在深度学习中。每次随机选择 2  的幂数个样本来进行学习，例如：8 、16 、32 、64、128 、256 。因为计算机的结构就是二进制的。但是也要根据具体问题而选择，实践中可以进行多次试验， 选择一个更新速度与更次次数都较适合的样本数。

MBGD梯度下降迭代的收敛曲线更加温柔一些：