2. 回归的基本思想
多元线性回归
在上面的例子中，我们仅有一个自变量，但是在现实生活中，我们要分析的不只是一个，而是多个自变
量与因变量之间的关系，对于这种预测任务，我们可以采用多元线性回归.
我们的目的是让机器从数据中学习出一个最优模型，从而进行预测，但是机器不会自动的学习，它需要
被注入灵魂，需要在人的指导下去工作。
所以，我们需要告诉机器如何学习，即定义一系列"策略"让机器围绕着这种"策略"不断地学习，更新自己。比如，在多元线性回归的问题中，我们的"策略"如下：
- 定义损失函数，描述模型好坏
- 利用算法最小化损失函数
损失函数
定义：
最小二乘法
梯度下降法
梯度下降法就是利用一阶泰勒展开，使 一步步逼近最优，从而最小化损失函数的方法。
在梯度下降法中，由于每次迭代带入损失函数中样品个数的不同，我们又可将其分为:
- 批量梯度下降法(BGD)，
- 小批量梯度下降法(MBGD)
- 随机梯度下降法(SGD)。
1.3 辛烷值预测案例
某石化企业的催化裂化汽油精制脱硫装置运行4年，积累了大量历史数据。从催化裂化汽油精制装置
中，我们得到了325个数据样本，因变量为产品中的辛烷值(RON)(y)，自变量有310个（x1,x2,x3…x310），它们分别为生产前
的原材料含量和各种操作变量。
# -*- coding: utf-8 -*- import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression from sklearn.linear_model import SGDRegressor from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split from sklearn import metrics from mlxtend.evaluate import bias_variance_decomp #读取原始数据 data_ron = pd.read_csv("../data/data_ron.csv") print(data_ron.shape) #(325, 311) y = data_ron["RON"] X = data_ron.iloc[:, 1: (len(data_ron) + 1)] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2, random_state = 10) #构建模型 model = LinearRegression() model.fit(X_train, y_train) print(round(model.score(X_train, y_train), 4)) print(round(model.score(X_test, y_test), 4)) #标准化(随机梯度下降法之前需要标准化) #stand_train = StandardScaler() #stand_train.fit(X_train) #X_train_standard = stand_train.transform(X_train) #X_test_standard = stand_train.transform(X_test) #model = SGDRegressor() #model.fit(X_train_standard, y_train) #print(round(model.score(X_train_standard, y_train), 4)) #print(round(model.score(X_test_standard, y_test), 4)) def mape(y_true, y_pre): n = len(y_true) mape = (sum(np.abs((y_true - y_pre)/y_true))/n)*100 return mape y_hat = model.predict(X_test) MSE = metrics.mean_squared_error(y_test, y_hat) RMSE = metrics.mean_squared_error(y_test, y_hat)**0.5 MAE = metrics.mean_absolute_error(y_test, y_hat) MAPE = mape(y_test, y_hat) print("MSE:{:.4f}, RMSE:{:.4f}, MAE:{:.4f}, MAPE:{:.4f}".format(MSE, RMSE, MAE, MAPE)) #MSE:0.0370, RMSE:0.1924, MAE:0.1511, MAPE:0.1710 #不进行转换会报错 X_train = np.array(X_train) y_train = np.array(y_train) X_test = np.array(X_test) y_test = np.array(y_test) mse, bias, var = bias_variance_decomp(model, X_train, y_train, X_test, y_test,loss='mse', num_rounds=30, random_seed=1) print("mse:{:.4f}, bias:{:.4f}, var:{:.4f}".format(mse, bias, var)) #mse:0.3947, bias:0.3443, var:0.0504
主要使用sklearn的模型
可以看到，我们在训练集上的模型得分居然是1.0，这是不是说明我们的模型构建的足够好呢？不急，
我们再看看模型在测试集上的得分。
由结果可知，模型在测试集上的得分为负数，已经足够差了。这种在训练集上表现好，但在测试集上表现差的现象，我们称为过拟合，与其相对的就是在训练集上表现差，但在测试集上表现好，这种我们称之为欠拟合，
1.4 过拟合与欠拟合
泛化
定义：得出的模型能够对测试集进行准确预测，那么我们就说它具有较好的泛化能力。
就是模型的通用性很强，在测试集里面预测准确。
过拟合与欠拟合
过拟合
定义：由于我们使用过多的因变量，而导致训练集得分很高，测试集得分很低，这就是出现了过拟合的情况。
欠拟合
定义：
当我们的模型过于简单时，可能会出现欠拟合的情况，这说明了我们的训练不够充分，模型没有抓住训
练集中数据的信息。如果在上面的案例中，我们的模型出现了欠拟合，那么在训练集上，迫性的得分应
该较低，而测试集上的模型得分应该较高。
规避的方法：
遇到欠拟合时，我们应该适量增加模型的复杂度，来避免欠拟合的状况。
复杂度小于平衡点，欠拟合；
复杂度大于平衡点，过拟合；
简化回归模型
1.5 模型的评价
R^2
MSE和RMSE
MAE和MAPE
偏差-方差权衡(仔细研究一下)
评价回归模型
1.6 正则项
在建模时，我们总是希望自己的模型能够尽量在训练集上取得较高的精度，又希望模型有好的泛化能
力，这时，我们可以通过给损失函数添加正则项实现这一目标。正则项的使用可以减缓过拟合的状况，
也可以帮助我们选择模型的特征。
岭回归
Lasso回归
ElasticNet回归
python实现
总结
工具：
- 基于网页的用于交互计算的应用程序 Jupyter Notebook ___ 还可以写C++
文献管理工具：
- Mendeley Desktop
- Zotero
模型管理工具：
- DVC
常用网站：
- 免费软件机器学习库 scikit-learn.org
参考：
