1、原理
回归是对连续型的数据做出预测。分类的目标变量是标称型数据。
如何从一大堆数据里求出回归方程呢？
假定输人数据存放在矩阵X中，而回归系数存放在向量W中。那么对于给定的数据X1, 预测结果将会通过
Y=X*W
给出。现在的问题是，手里有一些X和对应的Y,怎样才能找到W呢？
一个常用的方法就是找出使误差最小的W。这里的误差是指预测Y值和真实Y值之间的差值，使用该误差的简单累加将使得正差值和负差值相互抵消，所以我们采用平方误差。通常我们使用最小二乘法来求解误差最小值。
最小二乘法
平方误差可以写做:
对W求导，当导数为零时，平方误差最小，此时W等于：
例如有下面一张图片：
求回归曲线，得到下图所示的直线进行拟合：
2、实例–糖尿病进展预测
2.1 导入数据集并查看数据特征
# 导入线性回归器算法模型 from sklearn.linear_model import LinearRegression import numpy as np
#糖尿病数据集 ，训练一个回归模型来预测糖尿病进展 from sklearn import datasets dia = datasets.load_diabetes() dia
{'data': array([[ 0.03807591, 0.05068012, 0.06169621, ..., -0.00259226, 0.01990842, -0.01764613], [-0.00188202, -0.04464164, -0.05147406, ..., -0.03949338, -0.06832974, -0.09220405], [ 0.08529891, 0.05068012, 0.04445121, ..., -0.00259226, 0.00286377, -0.02593034], ..., [ 0.04170844, 0.05068012, -0.01590626, ..., -0.01107952, -0.04687948, 0.01549073], [-0.04547248, -0.04464164, 0.03906215, ..., 0.02655962, 0.04452837, -0.02593034], [-0.04547248, -0.04464164, -0.0730303 , ..., -0.03949338, -0.00421986, 0.00306441]]), 'target': array([151., 75., 141., 206., 135., 97., 138., 63., 110., 310., 101., 69., 179., 185., 118., 171., 166., 144., 97., 168., 68., 49., 68., 245., 184., 202., 137., 85., 131., 283., 129., 59., 341., 87., 65., 102., 265., 276., 252., 90., 100., 55., 61., 92., 259., 53., 190., 142., 75., 142., 155., 225., 59., 104., 182., 128., 52., 37., 170., 170., 61., 144., 52., 128., 71., 163., 150., 97., 160., 178., 48., 270., 202., 111., 85., 42., 170., 200., 252., 113., 143., 51., 52., 210., 65., 141., 55., 134., 42., 111., 98., 164., 48., 96., 90., 162., 150., 279., 92., 83., 128., 102., 302., 198., 95., 53., 134., 144., 232., 81., 104., 59., 246., 297., 258., 229., 275., 281., 179., 200., 200., 173., 180., 84., 121., 161., 99., 109., 115., 268., 274., 158., 107., 83., 103., 272., 85., 280., 336., 281., 118., 317., 235., 60., 174., 259., 178., 128., 96., 126., 288., 88., 292., 71., 197., 186., 25., 84., 96., 195., 53., 217., 172., 131., 214., 59., 70., 220., 268., 152., 47., 74., 295., 101., 151., 127., 237., 225., 81., 151., 107., 64., 138., 185., 265., 101., 137., 143., 141., 79., 292., 178., 91., 116., 86., 122., 72., 129., 142., 90., 158., 39., 196., 222., 277., 99., 196., 202., 155., 77., 191., 70., 73., 49., 65., 263., 248., 296., 214., 185., 78., 93., 252., 150., 77., 208., 77., 108., 160., 53., 220., 154., 259., 90., 246., 124., 67., 72., 257., 262., 275., 177., 71., 47., 187., 125., 78., 51., 258., 215., 303., 243., 91., 150., 310., 153., 346., 63., 89., 50., 39., 103., 308., 116., 145., 74., 45., 115., 264., 87., 202., 127., 182., 241., 66., 94., 283., 64., 102., 200., 265., 94., 230., 181., 156., 233., 60., 219., 80., 68., 332., 248., 84., 200., 55., 85., 89., 31., 129., 83., 275., 65., 198., 236., 253., 124., 44., 172., 114., 142., 109., 180., 144., 163., 147., 97., 220., 190., 109., 191., 122., 230., 242., 248., 249., 192., 131., 237., 78., 135., 244., 199., 270., 164., 72., 96., 306., 91., 214., 95., 216., 263., 178., 113., 200., 139., 139., 88., 148., 88., 243., 71., 77., 109., 272., 60., 54., 221., 90., 311., 281., 182., 321., 58., 262., 206., 233., 242., 123., 167., 63., 197., 71., 168., 140., 217., 121., 235., 245., 40., 52., 104., 132., 88., 69., 219., 72., 201., 110., 51., 277., 63., 118., 69., 273., 258., 43., 198., 242., 232., 175., 93., 168., 275., 293., 281., 72., 140., 189., 181., 209., 136., 261., 113., 131., 174., 257., 55., 84., 42., 146., 212., 233., 91., 111., 152., 120., 67., 310., 94., 183., 66., 173., 72., 49., 64., 48., 178., 104., 132., 220., 57.]), 'DESCR': 'Diabetes dataset\n================\n\nNotes\n-----\n\nTen baseline variables, age, sex, body mass index, average blood\npressure, and six blood serum measurements were obtained for each of n =\n442 diabetes patients, as well as the response of interest, a\nquantitative measure of disease progression one year after baseline.\n\nData Set Characteristics:\n\n :Number of Instances: 442\n\n :Number of Attributes: First 10 columns are numeric predictive values\n\n :Target: Column 11 is a quantitative measure of disease progression one year after baseline\n\n :Attributes:\n :Age:\n :Sex:\n :Body mass index:\n :Average blood pressure:\n :S1:\n :S2:\n :S3:\n :S4:\n :S5:\n :S6:\n\nNote: Each of these 10 feature variables have been mean centered and scaled by the standard deviation times `n_samples` (i.e. the sum of squares of each column totals 1).\n\nSource URL:\nhttp://www4.stat.ncsu.edu/~boos/var.select/diabetes.html\n\nFor more information see:\nBradley Efron, Trevor Hastie, Iain Johnstone and Robert Tibshirani (2004) "Least Angle Regression," Annals of Statistics (with discussion), 407-499.\n(http://web.stanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdf)\n', 'feature_names': ['age', 'sex', 'bmi', 'bp', 's1', 's2', 's3', 's4', 's5', 's6']}
# 数据特征含义 dia.feature_names
['age', 'sex', 'bmi', 'bp', 's1', 's2', 's3', 's4', 's5', 's6']
# 提取特征数据和标签数据 data = dia.data target = dia.target data.shape
(442, 10)
2.2 建立线性回归模型，并进行预测
# 训练样本和测试样本的分离，测试集10% from sklearn.model_selection import train_test_split x_train,x_test,y_train,y_test = train_test_split(data,target,test_size=0.1)
x_train.shape
(397, 10)
# 创建线性回归模型 linear = LinearRegression()
# 用linear模型来训练数据:训练的过程是把x_train 和y_train带入公式W = (X^X)-1X^TY求出回归系数W linear.fit(x_train,y_train)
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
# 对测试数据预测 y_ = linear.predict(x_test) # 预测过程是把x_test依次带入回归方程得到对应的y_
# 查看截距与各特征线性拟合的系数 print('模型截距 w0 = {0:.3f}'.format(linear.intercept_)) print('模型系数 = {}'.format(linear.coef_))
模型截距 b= 153.101 模型系数 w= [ -28.26717302 -234.83445245 549.39279125 320.8755665 -825.20750432 524.24205362 132.35723532 191.46312299 778.52539045 33.48522073]
# 查看实际值与预测值 y_[:50],y_test[:50]
(array([ 62.80628744, 129.50310918, 75.95424649, 202.76872408, 197.41332437, 183.45107848, 126.32736709, 156.02144908, 196.55335701, 61.47239162, 43.68195037, 178.2086671 , 104.66763656, 198.95379897, 219.62737502, 131.11988555, 62.10724641, 123.95841231, 93.11450093, 86.93222582, 99.17135234, 151.70998161, 71.90185513, 174.04776099, 156.93364065, 113.32715311, 137.14848755, 59.96221965, 126.22426198, 148.35722708, 208.70757214, 116.64584188, 79.35346445, 221.82972164, 129.09191804, 162.95682445, 126.64035226, 62.42385025, 125.97719065, 175.54327614, 144.54016457, 170.22452745, 97.24012398, 41.31366272, 169.53648083]), array([ 96., 135., 59., 150., 131., 171., 178., 85., 122., 77., 116., 181., 125., 68., 192., 74., 72., 51., 158., 74., 72., 197., 75., 311., 91., 107., 146., 70., 92., 95., 268., 183., 72., 332., 131., 151., 111., 52., 65., 66., 90., 121., 69., 55., 141.]))
2.3 模型评估
import sklearn.metrics as sm print("平均绝对误差:", sm.mean_absolute_error(y_,y_test)) print("平均平方误差:", sm.mean_squared_error(y_,y_test)) print("中位绝对误差:", sm.median_absolute_error(y_,y_test)) # R2→1模型的数据拟合性就越好，反之，R2→0，表明模型的数据拟合度越差。 print("决定系数R2得分:", sm.r2_score(y_,y_test))
平均绝对误差: 42.021235318719555 平均平方误差: 2946.0370977009784 中位绝对误差: 33.193712560880385 决定系数R2得分: -0.18948366198589683
2.4 绘图：查看实际值与预测值的情况
# 绘图，查看预测与实际值的情况 from matplotlib import pyplot as plt plt.plot(range(len(y_test)),sorted(y_test),c='black',label='True Data') plt.plot(range(len(y_test)),sorted(y_),c='red',label='Predict') plt.legend() plt.show()
3.总结
本文主要介绍了以下几点：
1、线性回归模型的基本原理：最小二乘法
2、使用sklearn建立线性回归模型并进行训练与评估
