多元线性回归分析 基于数据间存在线性关系的前提假设进行数据的建模和回归分析，但在实际应用场景中很少有能够满足具有强线性关系特点的数据集，更多地是表现出 非线性关系 的数据。多项式回归 方法基于线性回归的处理逻辑提出，主要应用于非线性关系数据的 回归预测任务。
1、算法基本过程
在线性回归中模型中，类如平面直线模型 $f(x) = ax + b$，其中就有 $x$ 为样本特征，$a,b$ 为模型参数。而对于一组满足非线性关系的数据，类如样本输出标记与样本特征满足二次曲线，使用线性回归生成的拟合模型就不如二次曲线的拟合效果好。同样是一个特征的样本，那么这个样本特征 $x$ 与样本输出标记 $y$ 的曲线关系可描述为 ：
$y = ax^2 + bx +c$
1.2 多项式与线性关系式的转换
从样本的 一个特征 角度来理解，二次方程 $y = ax^2_{1} + bx_{1} +c $ 描述了样本的特征 $x_{1}$ 与样本输出标记 $y$ 之间的非线性关系。但如果将方程中的 $x^2_{1}$ 视作样本的另一个特征来看( 升维处理 )，为了方便识别换元成 $x_{2} = x_1$，一元二次方程此时变成了多元线性方程 $y = ax_2 + bx_{1} + c$ ，最后应用线性回归的方法求解多项式的参数，即 多项式回归 的基本过程。 多项式回归 的关键在于为原始数据样本添加新特征（升维），这些新特征来自原始特征的多项式组合，来转换成线性关系式，从而求解多项式参数。
### Prepare datasets
import numpy as np
x = np.random.uniform(-3,3,size = 100).reshape((-1,1))
y = .5 * x ** 2 + 1*x + 2 + np.random.normal(size =(100,1))
### 通过添加特征 x^2 的方式 转换多项式为 多元线性关系式并基于线性回归的方法进行参数求解
X = np.hstack([x**2,x])
from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(X,y)
lin_reg.coef_
2、scikit-learn 框架下的多项式回归处理流程
- Step.1 基于原始特征构造新特征
### Raw datasets
import numpy as np
x = np.random.uniform(-3,3,size = 100).reshape((-1,1))
y = .5 * x ** 2 + 1*x + 2 + np.random.normal(size =(100,1))
### PolynomialFeatures 特征构造
from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(degree=2) ### 构造最高二次幂的新特征
poly.fit(x)
X = poly.transform(x) ### 返回添加了构造特征的特征矩阵，分别是 (x^0,x^1,X^2构造特征列
原始特征数目与构造特征的数目关系
(1) 原始样本仅包含一个特征$x_1$，构造最高2次幂的特征将返回$(x_1^{0},x_1^{1},x_1^{2})$的结果。
(2) 原始样本包含两个以上的特征，如包含两个特征$x_1,x_2$，则构造最高2次幂的特征将返回$(1,x_1^{1},x_2^{1},x_1^{2}, x_1x_2 ,x_2^{2})$ 6 个特征构造结果。import numpy as np x = np.arange(1,11).reshape(5,2) ### Raw Features from sklearn.preprocessing import PolynomialFeatures ### 特征构造 poly = PolynomialFeatures(degree=2) ### 构造二次幂样本特征 poly.fit(x) poly.transform(x) ### PolynomialFeatures
(3) 基于 2个初始特征构造最高 3 次幂的新特征， 将产生十种组合特征：
$$1,x_1,x_2$$
$$x_1^{2},x_2^{2},x_1x_2$$
$$x_1^{3},x_2^{3},x_1^{2}x_2,x_1x_2^{2}$$
在构造特征的时候，阶数越高，模型的参数发生指数级增长，意味模型复杂度越高。
- Step.2 基于添加了构造特征的数据进行线性回归
from sklearn.linear_model import LinearRegression lin_reg = LinearRegression() lin_reg.fit(X,y) lin_reg.coef_
2.2 使用scikit-learn 的Pipline 流程处理多步骤的分析任务
### Prepare datasets
import numpy as np
x = np.random.uniform(-3,3,size = 100).reshape((-1,1))
y = .5 * x ** 2 + 1*x + 2 + np.random.normal(size =(100,1))
### make pipline
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
poly_reg = Pipeline([
("poly",PolynomialFeatures(degree=2)), ### 格式为 管道名，当前管道需执行的函数
("std_scaler",StandardScaler()),
("lin_reg",LinearRegression())
])
### use pipline to predict
poly_reg.fit(x,y)
poly_reg.predict(x)
