瞎聊机器学习——LR(Logistic Regression)逻辑斯蒂回归(一)

简介: 瞎聊机器学习——LR(Logistic Regression)逻辑斯蒂回归(一)

逻辑斯蒂回归是我们在学习以及工作中经常用到的一种分类模型,下面通过本文来讲解一下逻辑斯蒂回归(logistic regression,下文简称LR)的概念、数学推导。


一、逻辑斯蒂回归的概念

首先希望大家明确一点,虽然该算法的名字叫做逻辑斯蒂回归(我也不知道为什么这么翻译)但其实它是一种分类模型,一定不能把它和线性回归混为一谈。简单说一下分类和回归之间的区别:


分类:给定一个数据,根据给出的训练集训练模型并推断出它所对应的类别(+1,-1),是一种定性的输出,也叫作离散变量预测。


回归:给定一个数据,根据给出的训练集训练模型并推断出该数据下的输出值是多少,此时输出的是一个真实的数值,是一种定量的输出,也叫作连续变量预测。


明白了LR是一种怎样的模型,下面我们来说一下它的具体概念。


LR模型其实就是在线性回归的基础上有套用了一个逻辑函数(sigmoid),就是因为这个逻辑函数让LR成为了机器学习中的一种经典的分类方法,下文中我们会详细的讲到这个逻辑函数是什么及其使用方法。


LR是一种极易理解的模型,就相当于y=f(x),表名自变量x和因变量y之间的关系。比如购房时我们需要考虑房子的楼层、面积、价钱、位置再去考虑买与不买,这其中楼层、面积、价钱、位置就是自变量x,即特征数据,而判断买与不买相当于获取的因变量y,即预测分类。


二、逻辑斯蒂分布

逻辑斯蒂分布也叫作增长分布,其分布函数是一个增长函数。


设X是连续随机变量,X服从逻辑斯谛分布是指X具有下列分布函数和密度函数:

image.png

三、逻辑斯蒂回归

上一模块中我们说了逻辑斯蒂分布及其如何产生sigmoid函数,本节中我们继续研究逻辑斯蒂回归模型。

从二分类入手,给定数据集image.png,我们希望对于输入数据image.png,有输出image.png,一类为正例,一类为负例。

首先我们进行一个设定(g(z)表示sigmoid函数):

image.png

在实际应用中我们需要不断的减小loss使得模型优化,我们采用梯度下降法来优化模型:()

(对loss进行求导,我们只处理∑后的补分即可)

image.png

以上便是逻辑斯蒂回归的损失函数的推导以及梯度下降法参数更新的推导过程,下一篇中我们会利用代码来实现逻辑斯蒂回归。


四、逻辑斯蒂回归的特点

优点:计算代价不高,易于实现和理解

缺点:容易欠拟合,分类精度可能不高

适用的数据类型:数值型和标称型数据


相关文章
|
机器学习/深度学习
Stanford 机器学习练习 Part 2 Logistics Regression
以下是我学习Andrew Ng machine learning 课程时logistic regression的相关代码,仅作为参考,因为是初学,暂时没办法做出总结。
50 1
|
机器学习/深度学习 Python
【机器学习Python实战】logistic回归
【机器学习Python实战】logistic回归
84 0
|
机器学习/深度学习 资源调度 算法
【机器学习基础】对数几率回归(logistic回归)
【机器学习基础】对数几率回归(logistic回归)
326 0
|
机器学习/深度学习
Stanford 机器学习练习 Part 1 Linear Regression
In octave, we return values by defining which variables % represent the return values (at the top of the file)
50 0
|
2月前
|
机器学习/深度学习 算法 知识图谱
【机器学习】逻辑回归原理(极大似然估计,逻辑函数Sigmod函数模型详解!!!)
【机器学习】逻辑回归原理(极大似然估计,逻辑函数Sigmod函数模型详解!!!)
|
4月前
|
机器学习/深度学习 算法
【机器学习】SVM面试题:简单介绍一下SVM?支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比,该如何选择?SVM为什么采用间隔最大化?为什么要将求解SVM的原始问题转换为其对偶问题?
支持向量机(SVM)的介绍,包括其基本概念、与逻辑回归(LR)和决策树(DT)的直观和理论对比,如何选择这些算法,SVM为何采用间隔最大化,求解SVM时为何转换为对偶问题,核函数的引入原因,以及SVM对缺失数据的敏感性。
78 3
|
4月前
|
机器学习/深度学习 算法
【机器学习】支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比,该如何选择(面试回答)?
文章对支持向量机(SVM)、逻辑回归(LR)和决策树(DT)进行了直观和理论上的对比,并提供了在选择这些算法时的考虑因素,包括模型复杂度、损失函数、数据量需求、对缺失值的敏感度等。
65 1
|
4月前
|
机器学习/深度学习
【机器学习】逻辑回归LR的推导及特性是什么,面试回答?
逻辑回归(LR)的推导和特性的详细解释,包括其作为二分类模型的基本原理、损失函数(对数损失函数),以及决策树的特性,如不需要先验假设、高效性、易解释性、对缺失值的不敏感性,以及对冗余属性的鲁棒性。
44 1
|
6月前
|
机器学习/深度学习 人工智能 机器人
【机器学习】符号主义类模型:解码智能的逻辑之钥
【机器学习】符号主义类模型:解码智能的逻辑之钥
124 0
|
机器学习/深度学习 存储 算法
机器学习面试笔试知识点-线性回归、逻辑回归(Logistics Regression)和支持向量机(SVM)
机器学习面试笔试知识点-线性回归、逻辑回归(Logistics Regression)和支持向量机(SVM)
187 0
机器学习面试笔试知识点-线性回归、逻辑回归(Logistics Regression)和支持向量机(SVM)