简单线性回归刻画的是样本的 1维特征与样本输出标记之间的关系；对于样本的多特征，刻画多特征与输出标记之间的多元线性关系描述为$ y = \theta_{0} + \theta_{1}x_{1} + \theta_{2}x_{2}... + \theta_{n}x_{n}$。
1、多元线性回归的目标函数
求解多元线性回归的目标函数同简单线性回归一样，使预测结果与真实结果的误差尽可能小：
$$\sum^{m}_{i} {(\hat y^{(i)} - y^{(i)})^{2}}$$
$$ \hat y^{(i)} = \theta_{0}x_{0}^{(i)} + \theta_{1}x_{1}^{(i)} ... + \theta_{n}x_{n}^{(i)},x_{0}^{(i)} = 1$$$$\theta = (\theta_{0} ,\theta_{1} ,... ,\theta_{n} )^{T}，X^{(i)}= (x_{0}^{(i)},x_{1}^{(i)},...,x_{n}^{(i)})$$
$$\hat y^{(i)} = \theta \cdot X^{i}$$
推广到多样本形式
$X_{b} = \begin{bmatrix} 1&x_1^{(1)}&x_2^{(1)}&...&x_n^{(1)} \\ 1&x_1^{(2)}&x_2^{(2)}&...&x_n^{(2)} \\ ... \\ 1&x_1^{(m)}&x_2^{(m)}&...&x_n^{(m)} \end{bmatrix}, \theta = \begin{bmatrix} \theta_{0} \\ \theta_{1} \\ ... \\ \theta_{n}\end{bmatrix}$
在$\theta$里，$\theta_{0}$对应回归关系式中的截距(intercept)或者说偏移，与样本特征无关；$\theta_{1}...\theta_{n}$是系数(coefficients)，它们描述的是特征对样本输出标记的贡献程度。$\therefore \hat y = X_{b} \cdot \theta$
带入$\hat y $，目标函数写为$\sum^{m}_{i} {(\hat y^{(i)} - y^{(i)})^{2}} = (y - X_b\cdot\theta)^{T} (y - X_b\cdot\theta)$
2、多元线性回归的数学解
2.1 正规方程解的数学表达式
通过使得目标函数$(y - X_b\cdot\theta)^{T} (y - X_b\cdot\theta)$尽可能得小来求解$\theta$，求解方法同简单线性回归一样使用最小二乘法，对函数中的每个$\theta _{i}$求偏导。由于运算对象从单个数变成了矩阵， 在矩阵上求导求极值的推导过程有点复杂(涉及线代以外的知识)。
多元线性回归的正规方程解(Normal Equation)
$$\theta = (X_{b}^{T}X_{b})^{-1}X_{b}^{T}y$$
缺点：正规方程解的时间复杂度高:$O(n^3)$，其中$n$不区分高维矩阵的行数或列数。
优点：不需要对数据进行归一化处理，最后的$\theta$就是原始数据的方程运算结果。
2.2 python实现
class LinearRegression:
def __init__(self):
"""初始化Linear Regression 模型"""
self.coef_ = None
self.interception_ = None
self._theta = None
def fit(self,x_train,y_train):
"""根据训练集x_train,y_train训练Linear Regression 模型"""
assert x_train.shape[0] == y_train.shape[0], "the size of x_train must be equal to the size of y_train"
X_b = np.hstack([np.ones((len(x_train),1)),x_train])
self._theta = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y_train);
self.interception_ = self._theta[0]
self.coef_ = self._theta[1:]
return self
def predict(self,x_predict):
"""给定待预测数据集x_predict，返回表示x_predict的结果向量"""
assert self.interception_ is not None and self.coef_ is not None, "must fit before predict!"
assert x_predict.shape[1] == len(self.coef_)," the feature number of x_predict must be equal to x_train"
X_b = np.hstack([np.ones((len(x_predict),1)),x_predict])
return X_b.dot(self._theta)
def __repr__(self):
return "LinearRegression()"
### 算法测试
### prepare data
from sklearn import datasets
boston = datasets.load_boston()
x = boston.data[ boston.target < 50 ]
y = boston.target[boston.target < 50]
from sklearn.model_selection import train_test_split
Train_X,Test_X,Train_Y,Test_Y = train_test_split(x,y,test_size= 0.2,random_state=666)
### test method
reg = LinearRegression()
reg.fit(Train_X,Train_Y)
reg.predict(Test_X)
3、scikit-learn框架下的回归求解
3.1 多元线性回归
from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(Train_X,Train_Y)
lin_reg.coef_ ### 系数贡献度
lin_reg.intercept_ ### 关系式偏移
lin_reg.score(Test_X,Test_Y) ### 模型准确度得分
3.2 kNN Regressor
算法背景 ML- kNN(k近邻算法)
from sklearn.neighbors import KNeighborsRegressor
### kNN模型超参数网格搜索
knn_reg = KNeighborsRegressor()
param_grid = [
{
'weights':['uniform'],
'n_neighbors':[i for i in range(1,11)]
},
{
'weights':['distance'],
'n_neighbors':[i for i in range(1,11)],
'p':[i for i in range(1,6)]
}
]
from sklearn.model_selection import GridSearchCV
grid_search = GridSearchCV(knn_reg,param_grid,n_jobs= 6, verbose = 2)
grid_search.fit(Train_X,Train_Y)
print(grid_search.best_estimator_)
### 使用网格搜索得到的最优超参数训练模型
knn_reg = grid_search.best_estimator_
knn_reg.predict(Test_X)
knn_reg.score(Test_X,Test_Y)
4、线性回归的可解释性
对于线性回归的系数(coefficients)来说，特征前面的系数为正意味着该特征与样本的输出标记呈正相关关系，系数为负表明负相关；系数的绝对值大小代表了相关程度。对系数按大小排序，从而用来筛选对样本的输出标记最相关的特征。因此，对于拿到的一组数据，不管数据的输出标记与特征之间有何关系，都可以首先通过线性回归的处理对数据的特征进行一定的了解。
5、线性回归的特点
① 典型的参数学习算法：
② 只能解决回归问题；对比kNN，既可以解决分类问题又能解决回归问题。
③ 对数据有前提假设：线性关系；只有数据集本身具有很强的线性关系，线性回归的结果才能更好（比如kNN也能处理回归，但回归误差就不如线性回归）。
⑤ 最大优点：线性回归是一个白盒子算法，训练出的模型和参数可以解释数据集的内在关联。
