机器学习之——逻辑回归

简介: 在讨论逻辑回归问题(Logistic Regression)之前,我们先讨论一些实际生活中的情况:判断一封电子邮件是否是垃圾邮件?判断一次交易是否是欺诈交易?判断一份文件是否是有效文件?这类问题,我们称之为分类问题(Classication Problem)。在分类问题中,我们往往尝试去预测的结果是否属于某一个类(正确活错误)。 我们从二元的分类问题开始讨论,即问题是正确或错误的。 我

在讨论逻辑回归问题(Logistic Regression)之前,我们先讨论一些实际生活中的情况:判断一封电子邮件是否是垃圾邮件?判断一次交易是否是欺诈交易?判断一份文件是否是有效文件?这类问题,我们称之为分类问题(Classication Problem)。在分类问题中,我们往往尝试去预测的结果是否属于某一个类(正确活错误)。

我们从二元的分类问题开始讨论,即问题是正确或错误的。

我们将因变量(Dependent Variable)可能属于的两个类分别称为负向类(Negative Class) 正向类(Positive Class),则因变量:


其中,0表示负向类,1表示正向类

我们假设预测一个肿瘤是否为恶性肿瘤的分类问题(Malignant or Benign),我们假设肿瘤的恶性或良性与肿瘤大小的关系,可以用线性回归的方法求出适合数据的一条直线:


根据线性回归模型,我们只能预测到连续的值,然后对于分类问题,我们只需要输出0或1即可,我们可以预测:


对于上图所示的数据,这样的一个线性模型似乎能很好地完成分类任务。假设我们又观察到一个尺寸非常大的恶性肿瘤,将其加入到我们的训练集中作为一个新的实例,那么将对我们的线性模型有一定影响,获得一条新的直线。


这时候,再使用0.5作为阈值来预测肿瘤是良性还是恶性,就显得不那么合适了。可以看出来,线性回归模型,因为其预测的值可以超越[0,1]的范围,所以并不适合解决这样的问题。

我们引入一个新的模型,逻辑回归,该模型的输出变量范围适中在0和1之间。

逻辑回归模型的假设是:


其中,解释一些标识:


该函数的图像为:


将逻辑函数和假设函数合起来,便得到了逻辑回归模型的假设:


对于模型,可以有以下的理解:

hø(x)的作用是,对于给定的输入变量,根据选择的参数计算输出变量=1的可能性(Estimated Probablity),即:

举个例子,如果对于给定的x,通过已经确定的参数计算得出hø(x)=0.7,则表示有百分之七十的概率y为正向类,相应的,y为负向类的概率为百分之三十(1-0.7=0.3)。

如上,便是逻辑回归模型。下一次我们讨论判定边界(Decision Boundary)代价函数(Cost Function)



相关文章
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习之线性回归与逻辑回归【完整房价预测和鸢尾花分类代码解释】
机器学习之线性回归与逻辑回归【完整房价预测和鸢尾花分类代码解释】
|
4月前
|
机器学习/深度学习 数据采集 算法
Python用逻辑回归、决策树、SVM、XGBoost 算法机器学习预测用户信贷行为数据分析报告
Python用逻辑回归、决策树、SVM、XGBoost 算法机器学习预测用户信贷行为数据分析报告
|
1月前
|
机器学习/深度学习 人工智能 算法
【人工智能】机器学习、分类问题和逻辑回归的基本概念、步骤、特点以及多分类问题的处理方法
机器学习是人工智能的一个核心分支,它专注于开发算法,使计算机系统能够自动地从数据中学习并改进其性能,而无需进行明确的编程。这些算法能够识别数据中的模式,并利用这些模式来做出预测或决策。机器学习的主要应用领域包括自然语言处理、计算机视觉、推荐系统、金融预测、医疗诊断等。
38 1
|
1月前
|
机器学习/深度学习 算法
【机器学习】SVM面试题:简单介绍一下SVM?支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比,该如何选择?SVM为什么采用间隔最大化?为什么要将求解SVM的原始问题转换为其对偶问题?
支持向量机(SVM)的介绍,包括其基本概念、与逻辑回归(LR)和决策树(DT)的直观和理论对比,如何选择这些算法,SVM为何采用间隔最大化,求解SVM时为何转换为对偶问题,核函数的引入原因,以及SVM对缺失数据的敏感性。
57 3
|
1月前
|
机器学习/深度学习 算法
【机器学习】支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比,该如何选择(面试回答)?
文章对支持向量机(SVM)、逻辑回归(LR)和决策树(DT)进行了直观和理论上的对比,并提供了在选择这些算法时的考虑因素,包括模型复杂度、损失函数、数据量需求、对缺失值的敏感度等。
39 1
|
1月前
|
机器学习/深度学习
【机器学习】逻辑回归LR的推导及特性是什么,面试回答?
逻辑回归(LR)的推导和特性的详细解释,包括其作为二分类模型的基本原理、损失函数(对数损失函数),以及决策树的特性,如不需要先验假设、高效性、易解释性、对缺失值的不敏感性,以及对冗余属性的鲁棒性。
31 1
|
2月前
|
机器学习/深度学习 数据采集 人工智能
|
3月前
|
机器学习/深度学习 数据采集 资源调度
【机器学习】逻辑回归:原理、应用与实践
逻辑回归(Logistic Regression)是一种广泛应用于分类问题的统计学方法,尽管其名称中含有“回归”二字,但它实际上是一种用于解决二分类或多分类问题的线性模型。逻辑回归通过使用逻辑函数(通常为sigmoid函数)将线性模型的输出映射到概率空间,从而预测某个事件发生的概率。本文将深入探讨逻辑回归的理论基础、模型构建、损失函数、优化算法以及实际应用案例,并简要介绍其在机器学习领域的地位和局限性。
350 2
|
3月前
|
机器学习/深度学习 数据采集 JavaScript
技术心得记录:机器学习——用逻辑回归及随机森林实现泰坦尼克号的生存预测
技术心得记录:机器学习——用逻辑回归及随机森林实现泰坦尼克号的生存预测
40 0
|
3月前
|
机器学习/深度学习 数据采集 自然语言处理
【机器学习】逻辑回归:智能垃圾邮件分类实例
【机器学习】逻辑回归:智能垃圾邮件分类实例
133 0