01- 线性回归
线性回归是一种统计分析方法，用于建立自变量与因变量之间的线性关系模型.这种函数是一个或多个称为回归系数的模型参数的线性组合。
值得注意的是，线性只是说回归系数之间是线性关系即可，自变量不是一次没有关系。
2-OLS（Ordinary Least Squares，最小二乘法）
from sklearn import linear_model import numpy as np from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt boston = load_boston() datas = boston.data target = boston.target name_data = boston.feature_names fig = plt.figure() fig.set_size_inches(14, 9) for i in range(13): ax = fig.add_subplot(4, 4, i+1) x = datas[:, i] y = target plt.title(name_data[i]) ax.scatter(x, y) plt.tight_layout() # 自动调整子图间距 plt.show() j_ = [] for i in range(13): if name_data[i] == 'RM': continue if name_data[i] =='LSTAT': continue j_.append(i) x_data = np.delete(datas, j_, axis=1) X_train, X_test, y_train, y_test = train_test_split(x_data, target, random_state=0, test_size=0.20) lr = linear_model.LinearRegression() lr.fit(X_train, y_train) lr_y_predict = lr.predict(X_test) score = lr.score(X_test, y_test) print(score) print("w0:",lr.intercept_) print("w1,w2:", lr.coef_)
Figure_1.png
2 - 岭回归(Ridge Regression)
岭回归（Ridge Regression）是线性回归的一种扩展方法，用于解决线性回归中的多重共线性问题。它与OLS（Ordinary Least Squares，最小二乘法）是线性回归中的两种不同的估计方法。
岭回归是在OLS的基础上进行改进，用于解决多重共线性问题。多重共线性指的是在回归分析中自变量之间存在高度相关性的情况，这会导致OLS估计的不稳定性和方差增加。岭回归通过添加一个正则化项（Ridge Penalty）来调整OLS估计的偏差-方差平衡，从而改善参数估计的稳定性。
Lasso回归
Lasso回归（Least Absolute Shrinkage and Selection Operator Regression）是一种线性回归的统计方法，用于估计
具有稀疏解的线性模型。它通过添加一个正则化项来调整OLS（最小二乘法）估计的偏差-方差平衡，以实现变量选择和参数收缩。
