开发者学堂课程【高校精品课-华东师范大学-人工智能基础:逻辑回归】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/920/detail/15591
逻辑回归
内容介绍:
一、逻辑回归
二、Sigmoid 函数
一、逻辑回归
之前介绍了一元线性回归和多元线性回归,并使用线性回归对电影票房进行了预测,一元线性回归和多元线性回归都属于线性模型,本次将介绍一种非线性的回归算法——逻辑回归。
简单的线性相关问题使用线性回归可以将数据拟合成直线,有时人们只想知道该判定的数据点位于直线的上面还是下面、左侧还是右侧,以便得到当前数据的归属或者是类型。
针对这项任务,介绍一种特殊的回归算法,逻辑回归能够完成分类任务,例如这里有一张信用评分图
按照现有的样本使用线性回归可以得到一条直线(图中红线),以纵轴的 Y=0.5为信用好坏的分界点,与直线取交点。Y=0.5与直线的焦点为(14,0.5),落在横轴为14,可以理解为信用值高于14分的为好信用。
现在增加两个样本,分别为 A(21,0.55)和 B(24,0.52),重新训练得到一条新的直线,斜率 K值 变小,纵轴 Y=0.5与直线的交点在(15.5,0.5),这时信用值高于15分的才被判断为好信用。这样很多样本的判定结果都被改变了。
二、Sigmoid 函数
为了解决上面的问题,可以在线性回归中引入一个 S 型函数即 Sigmoid,也经常被称为逻辑函数。函数形式为h(x)=。其中x的取值范围是(-∞,+∞),而值域为(0,1)。左右都是开区间。Sigmoid 函数曲线如下
它是 S 型函数,生成的图形为 S 形曲线,X=0的位置Y的值为0.5。右边向上曲线趋近于1,左边向下曲线趋近于0。逻辑回归在线性回归模型的基础上,通过引入 S 形函数,将线性回归的输出值映射到(0,1)范围。如果把0.5作为阈值,把结果转换为0或者1,能够完成两类问题的预测。
下面通过线性回归和 Sigmoid 函数推出逻辑回归方程
·首先,已知线性回归的表达式为:. y = W1X1+…十 WnXn + b
·将 y 代入 Sigmoid 公式:h(x)=
·可以得到逻辑回归方程: h(y)=h(x)==
得到方程以后要对方程的参数进行确定,这个过程相对于线性回归方程的过程复杂一些,通常采用的方法是先设置一个目标值,然后再来调整参数,让最终结果逐渐逼近目标值。
本次介绍了逻辑回归函数的形式和作用。