机器学习中的数学原理——多项式回归

简介: 机器学习中的数学原理——多项式回归

一、什么多项式回归

多项式回归是线性回归的一种特殊情况,其中我们在数据上拟合了多项式方程,目标变量和自变量之间具有曲线关系。 在曲线关系中,目标变量的值相对于预测变量以不均匀的方式变化。

二、算法分析

首先我们看次函数解析式

我们引入了两个变量,,它的图像是一条直线:

之前我们用微分求出了这个函数的斜率截距,但是从我们的数据点上来看,其实曲线比 直线拟合得更好。

我们将fθ(x)定义为二次函数,添加一个二次项,就能用它来表示这条曲线了。

或者我们用更高次次数的表达式也可以。这样就能表示更复杂的曲线了。

所以我们在不断尝试之后决定是什么样的函数,但是要注意,并不是函数次数越大拟合得越好。次数过大,难免会出现过拟合的情况。首先我们先看加入这个新的函数。接下来我们写出更新表达式的推导方法。

和之前一样,设u = E(θ)、v = fθ(x),然后试着用 u 对 θ2偏微分,求出更新表达式。u 对 v 微分的部分是一样的,所以我们只要求 v 对 θ2 的微分就行了。

那么即使增加参数,比如有 θ3、θ4 等,我们依然可以用同样的方法求出它们的更新表达式,像这样增加函数中多项式的次数,然后再使用函数的分析方法就被称为多项式回归

三、总结

多项式回归在原有的基础上引入了更高次的变量,我们要求出更高次参数的更新表达式,这一部分可以看之前写的梯度下降法更新参数。只要求出参数就能求得表达式了。


相关文章
|
3天前
|
机器学习/深度学习 算法 搜索推荐
【机器学习】机器学习的基本概念、算法的工作原理、实际应用案例
机器学习是人工智能的一个分支,它使计算机能够在没有明确编程的情况下从数据中学习并改进其性能。机器学习的目标是让计算机自动学习模式和规律,从而能够对未知数据做出预测或决策。
8 2
|
7天前
|
机器学习/深度学习 人工智能 关系型数据库
【机器学习】Qwen2大模型原理、训练及推理部署实战
【机器学习】Qwen2大模型原理、训练及推理部署实战
44 0
【机器学习】Qwen2大模型原理、训练及推理部署实战
|
14天前
|
机器学习/深度学习 运维 算法
深入探索机器学习中的支持向量机(SVM)算法:原理、应用与Python代码示例全面解析
【8月更文挑战第6天】在机器学习领域,支持向量机(SVM)犹如璀璨明珠。它是一种强大的监督学习算法,在分类、回归及异常检测中表现出色。SVM通过在高维空间寻找最大间隔超平面来分隔不同类别的数据,提升模型泛化能力。为处理非线性问题,引入了核函数将数据映射到高维空间。SVM在文本分类、图像识别等多个领域有广泛应用,展现出高度灵活性和适应性。
68 2
|
7天前
|
机器学习/深度学习 数据采集 物联网
【机器学习】Google开源大模型Gemma2:原理、微调训练及推理部署实战
【机器学习】Google开源大模型Gemma2:原理、微调训练及推理部署实战
26 0
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】GLM4-9B-Chat大模型/GLM-4V-9B多模态大模型概述、原理及推理实战
【机器学习】GLM4-9B-Chat大模型/GLM-4V-9B多模态大模型概述、原理及推理实战
30 0
|
1月前
|
机器学习/深度学习 自然语言处理 算法
扩散模型在机器学习中的应用及原理
扩散模型在机器学习中的应用及原理
|
2月前
|
机器学习/深度学习 算法 BI
机器学习笔记(一) 感知机算法 之 原理篇
机器学习笔记(一) 感知机算法 之 原理篇
|
2月前
|
机器学习/深度学习 搜索推荐 PyTorch
【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术
【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术
607 2
|
2月前
|
机器学习/深度学习
技术心得:机器学习的数学基础
技术心得:机器学习的数学基础
21 0
|
2月前
|
机器学习/深度学习 人工智能 算法
【机器学习】深度神经网络(DNN):原理、应用与代码实践
【机器学习】深度神经网络(DNN):原理、应用与代码实践
334 0