连载|逻辑回归

简介: 连载|逻辑回归

一、逻辑斯蒂分布

逻辑斯蒂分布也叫作增长分布,其分布函数是一个增长函数。

设X是连续随机变量,X服从逻辑斯谛分布是指X具有下列分布函数和密度函数:

image.png

image.png

在不同参数下分布函数p ( x ; μ , γ ) 的图像如下所示(图中的s是参数γ ):

image.png

根据分布函数我们可以看出图像呈s型,且关于点image.png成中心对称,曲线在两端的增长速度很慢,在中间的增长速度很快,且image.png的值越小增长速度越快。

当我们选择image.png的时候,逻辑斯蒂概率分布函数就是我们逻辑斯蒂回归中药用到的sigmoid函数,即:

image.png

二、逻辑回归的由来

我们都知道了线性回归可以进行回归学习,但是想要去做分类问题的时候应该怎么办呢?其实我们只需要去找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。

我们首先考虑二分类任务,其输出标记为y={0,1},而线性回归模型产生的预测值z=w^Tx+b是实值,我们需要的是将这个实值z转换为0/1值,最理想的是“单位阶跃函数”,也就是如下的形式。

image.png

这个函数代表的也就是若预测值z大于0就判为正例,小于0则判为负例,预测值为临界值0则可以任意判别,对应的图形表示如下。


对于图中的单位阶跃函数(红色)我们可以看出它并不是连续的,于是我们希望找到能在一定程度上近似单位阶跃函数的替代函数,并希望它是单调可微的,也就是如下的形式:

image.png

三、逻辑回归的推导

对于上文中这种将z(线性回归函数)带入到sigmoid函数转化为分类问题的形式我们可以把它叫做逻辑回归(logistic regression)

image.png



相关文章
|
7月前
|
机器学习/深度学习 算法 数据挖掘
逻辑回归算法
逻辑回归(Logistic Regression)是一种广义的线性回归分析模型,常用于数据挖掘、疾病自动诊断、经济预测等领域。它根据给定的自变量数据集来估计事件的发生概率。变量的范围在0和1之间,通常用于二分类问题,最终输出的预测是一个非线性的S型函数,称为logistic function, g()。 逻辑递归(Recursive Logic)是一种在逻辑学中使用的推理方法,它基于递归定义和递归推理规则,用于描述和推导关于递归结构的命题。用于研究自指的悖论和不完全性定理。它是基于自我引用和递归定义的思想,将逻辑和计算理论相结合,形成了一种强有力的推理工具。
|
24天前
|
机器学习/深度学习 数据采集
SVM在回归任务中如何应用
SVM在回归任务中如何应用
WK
|
3月前
|
机器学习/深度学习 算法 数据挖掘
什么是逻辑回归分类器
逻辑回归分类器是一种广泛应用于二分类问题的统计方法,它基于线性组合并通过Sigmoid函数将输出映射为概率值进行分类。核心原理包括:线性组合假设函数、Sigmoid函数转换及基于概率阈值的预测。该模型计算高效、解释性强且鲁棒性好,适用于信用评估、医疗诊断、舆情分析和电商推荐等多种场景。利用现有机器学习库如scikit-learn可简化其实现过程。
WK
46 1
|
4月前
|
机器学习/深度学习 数据挖掘 C#
用C#实现简单的线性回归
用C#实现简单的线性回归
47 1
|
5月前
|
机器学习/深度学习
逻辑回归
【7月更文挑战第22天】逻辑回归
45 5
|
5月前
什么是线性回归
【7月更文挑战第21天】什么是线性回归。
79 2
|
5月前
|
数据可视化 Python
数学方法解决线性回归问题
【7月更文挑战第21天】数学方法解决线性回归问题
48 2
|
5月前
|
机器学习/深度学习 算法 数据挖掘
线性回归
【7月更文挑战第21天】线性回归。
60 1
|
6月前
|
机器学习/深度学习 存储 自然语言处理
逻辑回归的介绍和应用
**逻辑回归简介** 逻辑回归是一种分类模型,尽管名字含“回归”,实际上是用于二分类问题的。它简单易懂,计算高效,适用于许多领域,如医学、社会科学、市场营销等。优点是模型简单,易于实现,具有强解释性。然而,它易受多重共线性影响,可能欠拟合,分类精度有限,尤其对非线性问题和数据不平衡问题处理不佳。在实践中,逻辑回归常作为其他复杂算法的基线,如用于信用卡欺诈检测和点击率预测。通过调整和与其他技术结合,如GBDT,可以提升其性能。
|
7月前
|
机器学习/深度学习 算法 数据挖掘
逻辑回归算法是什么?
逻辑回归(Logistic Regression)是一种广义的线性回归分析模型,常用于数据挖掘、疾病自动诊断、经济预测等领域。它根据给定的自变量数据集来估计事件的发生概率。变量的范围在0和1之间,通常用于二分类问题,最终输出的预测是一个非线性的S型函数,称为logistic function, g()。 逻辑递归(Recursive Logic)是一种在逻辑学中使用的推理方法,它基于递归定义和递归推理规则,用于描述和推导关于递归结构的命题。用于研究自指的悖论和不完全性定理。它是基于自我引用和递归定义的思想,将逻辑和计算理论相结合,形成了一种强有力的推理工具。