前文回顾：
还记得很久很久以前，我们学习了简单的回归分析，这其实与我们在学校所学的求解回归方程并没无太大的区别，或许仅是维度不同。
我们当时通过定义损失函数，让损失函数结果最小，来达到更好的回归效果。
多种损失函数都是可行的，考虑到优化等问题，最常用的是基于误差平方和的损失函数：
用误差平方和作为损失函数有很多优点
• 损失函数是严格的凸函数，有唯一解
• 求解过程简单且容易计算
• 同时也伴随着一些缺点
• 结果对数据中的“离群点”(outlier)非常敏感
• 解决方法：提前检测离群点并去除
• 损失函数对于超过和低于真实值的预测是等价的
• 但有些真实情况下二者带来的影响是不同的
为了找到最优的斜率和截距，我们使用最小二乘法求解出了相应系数：
当然，对于多维：
当因变量有多个时，我们可以用矩阵方式表达
基于以上矩阵表示，可以写为
此时：
注：
- 矩阵X的第一列都是1，其与β相乘表示截距。
- 损失函数结果还是数字
- 通过最小二乘法得到求解β的公式：
例如：
记录了 25 个家庭每年在快销品和日常服务
- 总开销（𝑌）
- 每年固定收入（ 𝑋2）、持有的流动资产（ 𝑋3）
可以构建如下线性回归模型：
链接 该文章的末尾还有对应的实例实验可供加深理解。
一、普通最小二乘法
上方回顾的内容便是所谓普通最小二乘法回归，我们提到参数的求解公式：
但在sklearn中，已经有封装好的类供我们使用：
from sklearn import linear_model # 初始化 内部参数选择默认 reg = linear_model.LinearRegression() X = [[0, 0], [1, 1], [2, 2]] y = [0, 1, 2] # 通过fit训练出回归模型 reg.fit (X,y) # 这是我们这个模型训练后得到的参数 array([0.5, 0.5]) reg.coef_ # 假设预测的了两个点是[[3,3],[2.5,2.8]] 则结果为array([3. , 2.65]) reg.predict([[3,3],[2.5,2.8]])
import numpy as np import matplotlib.pyplot as plt from sklearn import datasets, linear_model from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error, r2_score #均方误差 决定系数 当然 都可以自己算 diabetes_X, diabetes_y = datasets.load_diabetes(return_X_y=True) # 只取一个特征 np.newaxis 是为了让其变成二维 diabetes_X = diabetes_X[:,np.newaxis,2] # 我们接下来计算 该 特征是否有线性回归关系 # 当然也可以计算总的 但该组数据效果不好，并不全有回归关系。 # 划分数据集 x_train, x_test, y_train, y_test = train_test_split(diabetes_X,diabetes_y,test_size=0.045, random_state=2020) # diabetes_X.shape, diabetes_y.shape, x_train.shape, x_test.shape, y_train.shape, y_test.shape # 输出数据行列信息 # 大小：((442, 1), (442,), (422, 1), (20, 1), (422,), (20,)) regr = linear_model.LinearRegression() regr.fit(x_train, y_train) # 得到预测结果 p_test = regr.predict(x_test) # 参数 斜率和截距 print("Coefficients: \n", regr.coef_) # 均方误差 也可以自己算 print("Mean squared error: %.2f" % mean_squared_error(p_test, y_test)) # 决定系数 越接近1越好 print("Coefficient of determination: %.2f" % r2_score(p_test, y_test)) # 实际数据 用点表示 plt.scatter(x_test, y_test, color="black") # 根据预测数据 画出回归线 plt.plot(x_test, p_test, color="blue", linewidth=3) plt.xticks(()) plt.yticks(()) plt.show()
参数及属性部分建议阅读官方文档，下同：官方文档
然而，对于普通最小二乘的系数估计问题，其依赖于模型各项的相互独立性。当各项是相关的，且设计矩阵的各列近似线性相关，那么，设计矩阵会趋向于奇异矩阵，这种特性导致最小二乘估计对于随机误差非常敏感，可能产生很大的方差。例如，在没有实验设计的情况下收集到的数据，这种多重共线性（multicollinearity）的情况可能真的会出现。
二、岭回归
如果上方最小二乘法使得误差函数最小，用公式表示为：
则岭回归：
岭回归，通过对系数的大小施加惩罚来解决 普通最小二乘法 的一些问题。 岭系数最小化的是带罚项的残差平方和。
其中， α>=0 是控制系数收缩量的复杂性参数： α的值越大，收缩量越大，模型对共线性的鲁棒性也更强。
from sklearn import linear_model reg = linear_model.Ridge (alpha = .5) reg.fit ([[0, 0], [0, 0], [1, 1]], [0, .1, 1]) reg.coef_ # array([0.34545455, 0.34545455]) reg.intercept_ # 0.13636363636363638
岭回归系数的影响：
import numpy as np import matplotlib.pyplot as plt from sklearn import linear_model # X 为 10*10矩阵 X = 1.0 / (np.arange(1, 11) + np.arange(0, 10)[:, np.newaxis]) y = np.ones(10) n_alphas = 200 # 传入开始值 结束值 个数 生成200个α alphas = np.logspace(-10, -2, n_alphas) coefs = [] for a in alphas: # fit_intercept 不计算截距 ridge = linear_model.Ridge(alpha=a, fit_intercept=False) ridge.fit(X, y) # 记录参数 coefs.append(ridge.coef_) ax = plt.gca() ax.plot(alphas, coefs) ax.set_xscale("log") ax.set_xlim(ax.get_xlim()[::-1]) # reverse axis 从大到小 plt.xlabel("alpha") plt.ylabel("weights") plt.title("Ridge coefficients as a function of the regularization") plt.axis("tight") plt.show()
从上图我们可以看出：α的值越大，收缩量越大，模型对共线性的鲁棒性也更强。
设置正则化参数：广义交叉验证
RidgeCV 通过内置的关于的 alpha 参数的交叉验证来实现岭回归。 该对象与 GridSearchCV 的使用方法相同，只是它默认为 Generalized Cross-Validation(广义交叉验证 GCV)，这是一种有效的留一验证方法（LOO-CV）:
from sklearn import linear_model reg = linear_model.RidgeCV(alphas=[0.1, 1.0, 10.0]) reg.fit([[0, 0], [0, 0], [1, 1]], [0, .1, 1]) reg.alpha_
案例：使用稀疏特征对文本文档进行分类 — scikit-learn 1.1.2 文档
