连载|逻辑回归

简介: 连载|逻辑回归

一、逻辑斯蒂分布

逻辑斯蒂分布也叫作增长分布,其分布函数是一个增长函数。

设X是连续随机变量,X服从逻辑斯谛分布是指X具有下列分布函数和密度函数:

image.png

image.png

在不同参数下分布函数p ( x ; μ , γ ) 的图像如下所示(图中的s是参数γ ):

image.png

根据分布函数我们可以看出图像呈s型,且关于点image.png成中心对称,曲线在两端的增长速度很慢,在中间的增长速度很快,且image.png的值越小增长速度越快。

当我们选择image.png的时候,逻辑斯蒂概率分布函数就是我们逻辑斯蒂回归中药用到的sigmoid函数,即:

image.png

二、逻辑回归的由来

我们都知道了线性回归可以进行回归学习,但是想要去做分类问题的时候应该怎么办呢?其实我们只需要去找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。

我们首先考虑二分类任务,其输出标记为y={0,1},而线性回归模型产生的预测值z=w^Tx+b是实值,我们需要的是将这个实值z转换为0/1值,最理想的是“单位阶跃函数”,也就是如下的形式。

image.png

这个函数代表的也就是若预测值z大于0就判为正例,小于0则判为负例,预测值为临界值0则可以任意判别,对应的图形表示如下。


对于图中的单位阶跃函数(红色)我们可以看出它并不是连续的,于是我们希望找到能在一定程度上近似单位阶跃函数的替代函数,并希望它是单调可微的,也就是如下的形式:

image.png

三、逻辑回归的推导

对于上文中这种将z(线性回归函数)带入到sigmoid函数转化为分类问题的形式我们可以把它叫做逻辑回归(logistic regression)

image.png



相关文章
|
8天前
|
机器学习/深度学习 存储 自然语言处理
逻辑回归的介绍和应用
**逻辑回归简介** 逻辑回归是一种分类模型,尽管名字含“回归”,实际上是用于二分类问题的。它简单易懂,计算高效,适用于许多领域,如医学、社会科学、市场营销等。优点是模型简单,易于实现,具有强解释性。然而,它易受多重共线性影响,可能欠拟合,分类精度有限,尤其对非线性问题和数据不平衡问题处理不佳。在实践中,逻辑回归常作为其他复杂算法的基线,如用于信用卡欺诈检测和点击率预测。通过调整和与其他技术结合,如GBDT,可以提升其性能。
|
16天前
|
机器学习/深度学习 资源调度 并行计算
线性回归
【6月更文挑战第7天】线性回归是建立自变量与因变量之间线性关系的模型,常用于预测数值。它假设观测噪声符合正态分布。模型表示为$y=w^Tx+b$,其中$w$是权重,$b$是偏置。损失函数常用平方误差,通过梯度下降法优化。小批量随机梯度下降是常用的更新参数方法。正则化,如L2正则化(权重衰减),用于防止过拟合。丢弃法用于多层感知机,减少模型复杂度。训练时注意数值稳定性,如梯度爆炸和消失,可通过权重初始化、归一化等方法改善。
24 1
|
1月前
|
机器学习/深度学习 定位技术 数据处理
认识线性回归模型
线性回归是一种广泛应用于统计学和机器学习的技术,用于研究两个或多个变量之间的线性关系。
31 1
|
1月前
|
机器学习/深度学习 分布式计算 前端开发
线性回归模型使用技巧
【5月更文挑战第14天】线性回归基础及进阶应用概述:探讨模型假设、最小二乘法和系数估计;通过多项式特征处理非线性关系;应用正则化(Lasso、Ridge)减少过拟合;特征选择优化模型复杂度;使用GridSearchCV进行超参数调优;处理分组数据、缺失值;集成方法(Bagging)提升性能;尝试岭回归、弹性网络、高斯过程回归和鲁棒回归;利用模型融合增强预测力;应对大规模数据挑战;分析特征重要性;自动特征工程;增强模型解释性;集成模型多样性及权重调整;应用序列最小优化(SMO)、预测区间估计;动态特征选择;模型校验与调优;稳定性分析;迁移学习。
54 3
|
30天前
|
机器学习/深度学习 数据采集 供应链
线性回归模型
线性回归模型
23 0
|
8月前
|
机器学习/深度学习 存储 算法
逻辑回归模型
逻辑回归模型
68 0
|
10月前
|
机器学习/深度学习 API 算法框架/工具
二、逻辑回归
二、逻辑回归
|
机器学习/深度学习 人工智能 算法
|
机器学习/深度学习 算法
逻辑回归和线性回归有何不同?
逻辑回归和线性回归有何不同?

相关实验场景

更多