一、什么是多重回归

多重线性回归 (multiple linear regression) 是简单直线回归的推广，研究一个因变量与多个自变量之间的数量依存关系。多重线性回归用回归方程描述一个因变量与多个自变量的依存关系，简称 多重回归 。

二、案例分析

还记得我们之前研究最小二乘法的时候，是根据广告费来预测点击量的，广告费作为唯一变量。无论我们之后研究的梯度下降法还是多项式回归，都是建立在广告费作为唯一变量的前提下的。然而，实际情况中点击量是受到广告费在内的多个因素影响的。也就是说，以点击量作为因变量，自变量会有多个。我们将原来的案例扩展一下，现在，决定点击量的除了广告费之外，还有广告的 展示位置和广告版面的大小等多个要素。设 广告费为 x1、广告栏的宽为 x2、广告栏的高为 x3，那么 fθ 可以 表示如下：

现在的问题就变成了怎么去求 ,按照我们之前的做法，只需要分别求出目标函数对 的偏微分，然后更新参数就可以了。但是在求偏微分之前，我们可以先试着简化表达式的写法。

想象一下，刚才我们说有 x1、x2、x3 共 3 个变量，下面我们把它推广到有 n个变量的情况。这时候 fθ 会变成什么样子呢？

每次都像这样写 n 个 x 岂不是很麻烦？所以我们现在还可以把参数 θ 和变量 x 看作向量。

这里的1就相当于 ,这样的操作好处就在于保证了θ和 x 的维度相同，处理起来会容易很多。把 θ 转置之后，就可以计算一下它与 x 相乘的结果。

所以简化之后的表达式就变为：

接下来我们就使用 fθ(x)来求参数更新表达式吧，方法与之前一样。设 u = E(θ)、v = fθ(x)的部分是一样的。为了一般化，我们可以 考虑对第 j 个元素 θj 偏微分的表达式:

然后只需要求 v 对 θj 的微分就好了：

那么就可以得到第 j 个参数的更新表达式就是这样的：

这样我们就不用每个 θ 都写更新表达式，它们可以汇总为上面这样的一个表达式。像这样包含了多个变量的回归称为多重回归。可以基于一般化的思路来思考问题正是数学的优点。

三、总结

这一节主要学习了多重回归算法，有原来的一个自变量转化成了多个自变量，考虑多个自变量对因变量的影响，从而确定最优参数。同时，我们还学习了简化表达式，将原来繁琐的多个表达式整理成一个通用的表达式，用到了向量的知识，注意 和x相乘的时候需要进行转置，这一块在线性代数上面有提及。