学习笔记: 机器学习经典算法-多项式回归

简介: 机器学习经典算法-个人笔记和学习心得分享

多元线性回归分析 基于数据间存在线性关系的前提假设进行数据的建模和回归分析,但在实际应用场景中很少有能够满足具有强线性关系特点的数据集,更多地是表现出 非线性关系 的数据。多项式回归 方法基于线性回归的处理逻辑提出,主要应用于非线性关系数据的 回归预测任务。

1、算法基本过程

在线性回归中模型中,类如平面直线模型 $f(x) = ax + b$,其中就有 $x$ 为样本特征,$a,b$ 为模型参数。而对于一组满足非线性关系的数据,类如样本输出标记与样本特征满足二次曲线,使用线性回归生成的拟合模型就不如二次曲线的拟合效果好。同样是一个特征的样本,那么这个样本特征 $x$ 与样本输出标记 $y$ 的曲线关系可描述为 :

$y = ax^2 + bx +c$

1.2 多项式与线性关系式的转换

从样本的 一个特征 角度来理解,二次方程 $y = ax^2_{1} + bx_{1} +c $ 描述了样本的特征 $x_{1}$ 与样本输出标记 $y$ 之间的非线性关系。但如果将方程中的 $x^2_{1}$ 视作样本的另一个特征来看( 升维处理 ),为了方便识别换元成 $x_{2} = x_1$,一元二次方程此时变成了多元线性方程 $y = ax_2 + bx_{1} + c$ ,最后应用线性回归的方法求解多项式的参数,即 多项式回归 的基本过程。 多项式回归 的关键在于为原始数据样本添加新特征(升维),这些新特征来自原始特征的多项式组合,来转换成线性关系式,从而求解多项式参数。

### Prepare datasets
import numpy as np
x = np.random.uniform(-3,3,size = 100).reshape((-1,1))
y = .5 * x ** 2 + 1*x + 2 + np.random.normal(size =(100,1))

### 通过添加特征 x^2 的方式 转换多项式为 多元线性关系式并基于线性回归的方法进行参数求解
X = np.hstack([x**2,x])
from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(X,y)
lin_reg.coef_

2、scikit-learn 框架下的多项式回归处理流程

  • Step.1 基于原始特征构造新特征
### Raw datasets
import numpy as np
x = np.random.uniform(-3,3,size = 100).reshape((-1,1))
y = .5 * x ** 2 + 1*x + 2 + np.random.normal(size =(100,1))
### PolynomialFeatures 特征构造
from sklearn.preprocessing import PolynomialFeatures 
poly = PolynomialFeatures(degree=2) ### 构造最高二次幂的新特征
poly.fit(x)
X = poly.transform(x) ### 返回添加了构造特征的特征矩阵,分别是 (x^0,x^1,X^2构造特征列

原始特征数目与构造特征的数目关系
(1) 原始样本仅包含一个特征$x_1$,构造最高2次幂的特征将返回$(x_1^{0},x_1^{1},x_1^{2})$的结果。
(2) 原始样本包含两个以上的特征,如包含两个特征$x_1,x_2$,则构造最高2次幂的特征将返回$(1,x_1^{1},x_2^{1},x_1^{2}, x_1x_2 ,x_2^{2})$ 6 个特征构造结果。

import numpy as np
x = np.arange(1,11).reshape(5,2) ### Raw Features

from sklearn.preprocessing import PolynomialFeatures ### 特征构造
poly = PolynomialFeatures(degree=2) ### 构造二次幂样本特征
poly.fit(x)
poly.transform(x)   ### PolynomialFeatures


(3) 基于 2个初始特征构造最高 3 次幂的新特征, 将产生十种组合特征:
$$1,x_1,x_2$$
$$x_1^{2},x_2^{2},x_1x_2$$
$$x_1^{3},x_2^{3},x_1^{2}x_2,x_1x_2^{2}$$
在构造特征的时候,阶数越高,模型的参数发生指数级增长,意味模型复杂度越高

  • Step.2 基于添加了构造特征的数据进行线性回归
    from sklearn.linear_model import LinearRegression
    lin_reg = LinearRegression()
    lin_reg.fit(X,y)
    lin_reg.coef_
    

2.2 使用scikit-learn 的Pipline 流程处理多步骤的分析任务

### Prepare datasets
import numpy as np
x = np.random.uniform(-3,3,size = 100).reshape((-1,1))
y = .5 * x ** 2 + 1*x + 2 + np.random.normal(size =(100,1))

### make pipline
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
poly_reg = Pipeline([
    ("poly",PolynomialFeatures(degree=2)), ### 格式为 管道名,当前管道需执行的函数
    ("std_scaler",StandardScaler()),
    ("lin_reg",LinearRegression())
])

### use pipline to predict
poly_reg.fit(x,y)
poly_reg.predict(x)
目录
相关文章
|
9天前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对数据集进行训练,最后得到一个识别精度较高的模型。并基于Flask框架,开发网页端操作平台,实现用户上传一张图片识别其名称。
30 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
30天前
|
机器学习/深度学习 算法 Java
机器学习、基础算法、python常见面试题必知必答系列大全:(面试问题持续更新)
机器学习、基础算法、python常见面试题必知必答系列大全:(面试问题持续更新)
|
1月前
|
机器学习/深度学习 人工智能 算法
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
玉米病害识别系统,本系统使用Python作为主要开发语言,通过收集了8种常见的玉米叶部病害图片数据集('矮花叶病', '健康', '灰斑病一般', '灰斑病严重', '锈病一般', '锈病严重', '叶斑病一般', '叶斑病严重'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。再使用Django搭建Web网页操作平台,实现用户上传一张玉米病害图片识别其名称。
56 0
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
|
1月前
|
机器学习/深度学习 算法 决策智能
【机器学习】揭秘深度学习优化算法:加速训练与提升性能
【机器学习】揭秘深度学习优化算法:加速训练与提升性能
|
1月前
|
机器学习/深度学习 算法 Python
探索机器学习中的决策树算法:从理论到实践
【10月更文挑战第5天】本文旨在通过浅显易懂的语言,带领读者了解并实现一个基础的决策树模型。我们将从决策树的基本概念出发,逐步深入其构建过程,包括特征选择、树的生成与剪枝等关键技术点,并以一个简单的例子演示如何用Python代码实现一个决策树分类器。文章不仅注重理论阐述,更侧重于实际操作,以期帮助初学者快速入门并在真实数据上应用这一算法。
|
18天前
|
机器学习/深度学习 人工智能 算法
探索机器学习中的决策树算法
【10月更文挑战第29天】本文将深入浅出地介绍决策树算法,一种在机器学习中广泛使用的分类和回归方法。我们将从基础概念出发,逐步深入到算法的实际应用,最后通过一个代码示例来直观展示如何利用决策树解决实际问题。无论你是机器学习的初学者还是希望深化理解的开发者,这篇文章都将为你提供有价值的见解和指导。
|
1月前
|
机器学习/深度学习 算法 大数据
机器学习入门:梯度下降算法(下)
机器学习入门:梯度下降算法(下)
|
1月前
|
机器学习/深度学习 算法 API
机器学习入门(五):KNN概述 | K 近邻算法 API,K值选择问题
机器学习入门(五):KNN概述 | K 近邻算法 API,K值选择问题
|
1月前
|
机器学习/深度学习 算法 数据处理
EM算法对人脸数据降维(机器学习作业06)
本文介绍了使用EM算法对人脸数据进行降维的机器学习作业。首先通过加载ORL人脸数据库,然后分别应用SVD_PCA、MLE_PCA及EM_PCA三种方法实现数据降维,并输出降维后的数据形状。此作业展示了不同PCA变种在人脸数据处理中的应用效果。
34 0

热门文章

最新文章

下一篇
无影云桌面