1. 正规方程
前面几篇文章里面我们介绍了求解线性回归模型第一个算法 梯度下降算法，梯度下降算法最核心的是找到一个学习速率α，通过不断的迭代最终找到θ0 ... θn, 使得J(θ)值最小。
今天我们要介绍一个解决线性回归模型新的算法 正规方程 对于函数f(x) = ax^2 + bx + c 而言，要求其最小值，是对其求导数并且设置导数值为0.
我们知道，多维特征变量的线性回归模型中，代价函数表达式，如下图所示
扩展到n+1个参数θ0 ... θn，求函数J(θ)也可以对每个参数求导并另导数为0
经数学证明，运用线性代数的公式，可以直接求解特征向量θ（θ0,θ1 ... θn）使得代价函数J(θ)最小
- X表示特征向量矩阵
- X^T表示的是矩阵X的转置矩阵
- (X^T*X)^-1，表示矩阵X的转置矩阵和它相乘得到的新的矩阵求逆
- Y表示训练集中，结果矩阵
2. 举例说明
假设我们预测房价的训练集如下所示
训练集m=4，特征维度n=4，同时我们假设X0=1，因此特征矩阵X=m*(n+1)
证明如下
- X = m*(n+1)
- X^T = (n+1)*m
- (X^T * X) = (n+1) * (n+1)
- (X^T * X)^-1 = (n+1) * (n+1)
- Y = m * 1
- X^T * Y = (n+1) * 1
- (X^T * X)^-1 * X^T * Y = ((n+1) * (n+1)) * ((n+1) * 1) = (n+1) * 1
由上可知，求出的向量即为θ（θ0,θ1 ... θn）
特别注意: 并不是所有(X^T * X)相乘的结果都可逆，不过我们一般不用太关心这些细节，对于MATLAB或者octave来说无论可逆不可逆，最终都可以求出结果
3. 什么时候选择正规方程
梯度下降特点:
- 选择合适的学习速率α
- 通过不断的迭代，找到θ0 ... θn, 使得J(θ)值最小
正规方程特点:
- 不需要选择学习速率α，不需要n轮迭代
- 只需要一个公式计算即可
但是并不是所有的线性回归都适合用正规方程，我们知道求解一个矩阵的逆复杂度为O(n^3)，因此当特征维度n非常大的时候(X^T * X)^-1需要O(n^3)时间，此时选择正规方程效率将会特别低
当n < 1000时候选择正规方程比较合适，但是当n > 1000的时候使用梯度下降算法会是更佳的方案
