逻辑回归|学习笔记

简介: 快速学习逻辑回归

开发者学堂课程【高校精品课-华东师范大学-人工智能基础:逻辑回归】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/920/detail/15591


逻辑回归

 

内容介绍:

一、逻辑回归

二、Sigmoid 函数

 

一、逻辑回归

之前介绍了一元线性回归和多元线性回归并使用线性回归对电影票房进行了预测,一元线性回归和多元线性回归都属于线性模型,本次将介绍一种非线性的回归算法——逻辑回归。

简单的线性相关问题使用线性回归可以将数据拟合成直线,有时人们只想知道该判定的数据点位于直线的上面还是下面、左侧还是右侧以便得到当前数据的归属或者是类型

针对这项任务介绍一种特殊的回归算法,逻辑回归能够完成分类任务,例如这里有一张信用评分图

image.png

按照现有的样本使用线性回归可以得到一条直线(图中红线)以纵轴的 Y=0.5信用好坏的分界点,直线取点。Y=0.5与直线的焦点为(14,0.5)落在横轴为14,可以理解为信用值高于14分的为好信用

image.png

现在增加两个样本,分别为 A(21,0.55)和 B(24,0.52),重新训练得到一条新的直线K值 变小,纵轴 Y=0.5与直线的交点在15.5,0.5),这时信用值高于15的才被判断为好信用。这样很多样本的判定结果都被改变了

 

二、Sigmoid 函数

为了解决上面的问题,可以在线性回归中引入一个 S 型函数即 Sigmoid也经常被称为逻辑函数。函数形式为h(x)=。其中x的取值范围是(-∞,+∞),而值域为(0,1)。左右都是开区间Sigmoid 函数曲线如下

image.png

它是 S 型函数,生成的图形为 S 形曲线,X=0的位置Y的值为0.5。右边向上曲线趋近于1,左边向下曲线趋近于0。逻辑回归在线性回归模型的基础上,通过引入 S 形函数,将线性回归的输出值映射到(0,1)范围。如果把0.5作为阈值,把结果转换为0或者1,能够完成两类问题的预测。

下面通过线性回归和 Sigmoid 函数推出逻辑回归方程

·首先,已知线性回归的表达式为:. y = W1X1+…十 WnXn + b

·将 y 代入 Sigmoid 公式:h(x)=image.png

·可以得到逻辑回归方程: h(y)=h(x)==

得到方程以后要对方程的参数进行确定,这个过程相对于线性回归方程的过程复杂一些,通常采用的方法是先设置一个目标值,然后再来调整参数,让最终结果逐渐逼近目标

本次介绍了逻辑回归函数的形式和作用。

相关文章
|
机器学习/深度学习 算法 API
机器学习算法之线性回归
机器学习算法之线性回归
|
机器学习/深度学习 算法
机器学习算法之逻辑回归
机器学习算法之逻辑回归
|
2月前
|
机器学习/深度学习 算法 Python
线性回归模型学习
【9月更文挑战第3天】
31 5
|
4月前
|
机器学习/深度学习
逻辑回归
【7月更文挑战第22天】逻辑回归
40 5
|
机器学习/深度学习 算法
机器学习算法——线性回归
最近一直在学机器学习,但感觉学习效率低,理解不深入,所以想通过写博客总结来加深自己的理解,写一下我的理解过程, 也希望能帮到其他人。
53 0
|
5月前
|
机器学习/深度学习 存储 自然语言处理
逻辑回归的介绍和应用
**逻辑回归简介** 逻辑回归是一种分类模型,尽管名字含“回归”,实际上是用于二分类问题的。它简单易懂,计算高效,适用于许多领域,如医学、社会科学、市场营销等。优点是模型简单,易于实现,具有强解释性。然而,它易受多重共线性影响,可能欠拟合,分类精度有限,尤其对非线性问题和数据不平衡问题处理不佳。在实践中,逻辑回归常作为其他复杂算法的基线,如用于信用卡欺诈检测和点击率预测。通过调整和与其他技术结合,如GBDT,可以提升其性能。
|
6月前
|
机器学习/深度学习 数据可视化 Python
在R语言中实现Logistic逻辑回归
在R语言中实现Logistic逻辑回归
|
机器学习/深度学习 API 算法框架/工具
二、逻辑回归
二、逻辑回归
|
机器学习/深度学习 资源调度 算法
学习笔记: 机器学习经典算法-逻辑回归(Logistic Regression)
机器学习经典算法-个人笔记和学习心得分享
155 0
|
机器学习/深度学习
连载|逻辑回归
连载|逻辑回归
下一篇
无影云桌面