欠拟合过拟合
欠拟合： -训练集表现不好，而且训练集以外的数据也表现不好 -原因： -数据特征太少 -交叉验证：训练集结果表现不行 -解决：增加数据特征 过拟合： -训练集表现很好，但在训练集以外的数据集表现不好 -原因： -数据特征过多 -测试集表现不行 -解决： -进行特征选择，消除关联性大的特征 -交叉验证 -正则化
线性关系
非线性关系
特征选择
-过滤式：低方差特征
-嵌入式：正则化，决策树，神经网络
L2正则化
作用：可以使得W的每个元素都很小，都接近于0
优点：越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合
回归：解决过拟合的方式
线性回归 容易出现过拟合，为了把训练数据表现的更好
L2正则化 Ridge岭回归，带有正则化的线性回归，解决过拟合
岭回归
sklearn.linear_model.Ridge
alpha 正则化力度 力度越大，模型越简单， 取值0~1 1~10
coef_ 回归系数
回归得到的回归系数更符合实际，更可靠，
另外，能让估计参数的波动范围变小，变得更稳定，
在存在病态数据偏多的研究中有较大的实用价值
代码示例
综合 线性回归，梯度下降，岭回归
# -*- coding: utf-8 -*- from sklearn.datasets import load_boston from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error # 加载数据 boston = load_boston() # 训练集，测试集拆分 X_train, X_test, y_train, y_test = train_test_split( boston.data, boston.target, test_size=0.25) # 数据标准化处理 # 特征值 标准化 std_x = StandardScaler() X_train = std_x.fit_transform(X_train) X_test = std_x.transform(X_test) # 目标值 标准化 std_y = StandardScaler() y_train = std_y.fit_transform(y_train.reshape(-1, 1)) y_test = std_y.transform(y_test.reshape(-1, 1)) # 正规方程 lr = LinearRegression() lr.fit(X_train, y_train) print(lr.coef_) y_lr_predict = std_y.inverse_transform(lr.predict(X_test)) # 梯度下降 sgd = SGDRegressor() sgd.fit(X_train, y_train) print(sgd.coef_) y_sgd_predict = std_y.inverse_transform(sgd.predict(X_test)) # 岭回归 ridge = Ridge() ridge.fit(X_train, y_train) print(ridge.coef_) y_ridge_predict = std_y.inverse_transform(ridge.predict(X_test)) # 均方误差 lr_mse = mean_squared_error(std_y.inverse_transform(y_test), y_lr_predict) sgd_mse = mean_squared_error(std_y.inverse_transform(y_test), y_sgd_predict) ridge_mse = mean_squared_error(std_y.inverse_transform(y_test), y_ridge_predict) print(lr_mse) print(sgd_mse) print(ridge_mse) """ 20.887918065953176 21.059487199230684 20.87817117552608 """
