机器学习中的数学原理——逻辑回归

简介: 机器学习中的数学原理——逻辑回归

什么是逻辑回归算法

逻辑回归 (Logistic Regression)是一种 基于概率的模式识别算法,虽然名字中带"回归",但实际上是一种分类方法,在实际应用中,逻辑回归可以说是应用最广泛的机器学习算法之一。
  • 案例分析

我们还是用刚才按横向和纵向对图像进行分类的例子,接下来要讲的算法与感知机的方法不一样,所以先考虑线性可分的问题比较好,这样有助于我们掌握基础知识。接下来要讲的算法与感知机的不同之处在于,它是把分类作为概率来考虑的。这里设横向的值为 1、纵向的值为 0。

2.1sigmoid 函数

你还记得在学习回归时定义过这样一个带参数的函数吗?

这是通过最速下降法或随机梯度下降法来学习参数 θ的表达式。使用这个 θ 能够求出对未知数据 x 的输出值。这里的思路是一样的。我们需要能够将未知数据分类为某个类别的函数 fθ(x)。这是和感知机的判别函数 fw(x)作用相同的东西,使用与回归时同样的参数 θ,函数的形式就是这样的。

exp 的全称是 exponential,即指数函数。exp(x) 与 ex 含义相同,只是写法不同。e 是自然常数,具体的值为 2.7182 . . .。也就是说 exp(−θTx) 可以换成 e−θTx 这样的写法。指数部分如果过于复杂,上标的字号太小会很难看清,所以这时候使用 exp 写法的情况比较多。

这个函数的名字叫 sigmoid 函数,设 θTx 为横轴,fθ(x)为纵轴,那么它的图形是这样的。

θTx = 0 时 fθ(x) = 0.5,以及 0 < fθ(x) < 1 是 sigmoid 函数的两个特征。首先,刚才说到我们要用概率来考虑分类。因为 sigmoid 函数的取值范围是 0 < fθ(x) < 1所以它可以作为概率来使用。

2.2决策边界

刚才说到把表达式 的 fθ(x)当作概率来使用,那么接下来我们就把未知数据 x 是横向图像的概率作为 fθ(x)。其表达式是这样的

P 中的竖线是条件概率,这是在给出 x 数据时 y = 1,即图像为横向的概率。fθ(x) = 0.7 的意思是图像为横向的概率是 70% 。一般来说这样就可以把 x 分类为横向了,fθ(x) = 0.2 是说横向的概率为 20%、纵向的概率为 80%,这种状态可以分类为纵向我们是以 0.5 为阈值,然后把 fθ(x) 的结果与它相比较,从而分类横向或纵向的

之前我们所谈及的sigmoid函数中,也出现了0.5,在 θTx = 0 时,fθ(x) = 0.5

从图中可以看出在 fθ(x) ⩾ 0.5 时,θTx ⩾ 0,反过来在 fθ(x) < 0.5 时,θTx < 0。

所以我们可以把上面表达式改写为这种形式:

下面我们像学习感知机时那样,设横轴为图像的宽(x1)、纵轴为图像的高(x2),并且画出图来考虑。然后像学习回归时那样,先随便确定 θ 再具体地去考虑。比如当 θ 是这样的向量时,我们来画一下 θTx ⩾ 0 的图像。

这个不等式表示的范围也就是图像被分类为横向的范围了。

那分类为纵向的范围就在另一侧:

也就是说,我们将 θTx = 0 这条直线作为边界线,就可以把这条线两侧的数据分类为横向和纵向了。这样用于数据分类的直线称为决策边界。实际应用时这个决策边界似乎不能正确地分类图像

为了求得正确的参数 θ 而定义目标函数,进行微分,然后求参数的更新表达式。这种算法就称为逻辑回归!


相关文章
|
3天前
|
机器学习/深度学习 算法 BI
机器学习笔记(一) 感知机算法 之 原理篇
机器学习笔记(一) 感知机算法 之 原理篇
|
4天前
|
机器学习/深度学习 数据采集 自然语言处理
【机器学习】逻辑回归:智能垃圾邮件分类实例
【机器学习】逻辑回归:智能垃圾邮件分类实例
12 0
|
4天前
|
机器学习/深度学习 人工智能 算法
【机器学习】深度神经网络(DNN):原理、应用与代码实践
【机器学习】深度神经网络(DNN):原理、应用与代码实践
15 0
|
6天前
|
机器学习/深度学习 搜索推荐 PyTorch
【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术
【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术
33 2
|
9天前
|
机器学习/深度学习 存储 算法
【机器学习】深入探索机器学习:线性回归算法的原理与应用
【机器学习】深入探索机器学习:线性回归算法的原理与应用
23 0
|
9天前
|
机器学习/深度学习
探索机器学习中的过拟合与欠拟合:原理与实践
在机器学习的领域中,过拟合和欠拟合是影响模型性能的两大关键问题。本文将深入解析这两个现象的原理,并通过具体案例探讨如何在实际项目中有效应对它们,从而提升模型的泛化能力和预测准确性。
166 0
|
10天前
|
机器学习/深度学习 算法 数据处理
【阿旭机器学习实战】【33】中文文本分类之情感分析--朴素贝叶斯、KNN、逻辑回归
【阿旭机器学习实战】【33】中文文本分类之情感分析--朴素贝叶斯、KNN、逻辑回归
|
10天前
|
机器学习/深度学习 算法 数据挖掘
【阿旭机器学习实战】【32】预测银行客户是否会开设定期存款账户--逻辑回归
【阿旭机器学习实战】【32】预测银行客户是否会开设定期存款账户--逻辑回归
|
19天前
|
机器学习/深度学习 数据采集 资源调度
【机器学习】逻辑回归:原理、应用与实践
逻辑回归(Logistic Regression)是一种广泛应用于分类问题的统计学方法,尽管其名称中含有“回归”二字,但它实际上是一种用于解决二分类或多分类问题的线性模型。逻辑回归通过使用逻辑函数(通常为sigmoid函数)将线性模型的输出映射到概率空间,从而预测某个事件发生的概率。本文将深入探讨逻辑回归的理论基础、模型构建、损失函数、优化算法以及实际应用案例,并简要介绍其在机器学习领域的地位和局限性。
234 2
|
27天前
|
机器学习/深度学习 算法 Python
机器学习:逻辑回归
逻辑回归是一种广泛使用的分类算法,它属于线性分类器。 在逻辑回归中,目标是找到最佳的权重参数θ,使得预测结果尽可能接近实际的类别标签。 广义线性回归是逻辑回归的理论基础,它考虑了不同类型的因变量分布,包括伯努利分布(对应二分类问题)。指数族分布是这类模型的一个共同特征,而逻辑回归就是其中的特定情况。在梯度下降过程中,我们沿着损失函数的梯度方向更新权重,以找到损失最小的解。通过这种方式,逻辑回归可以学习到数据集的最佳分类超平面。 在代码实现中,我们可以使用Python的scikit-learn库来实现逻辑回归,并观察损失函数在权重空间中的形状。
20 0