【数学建模】逻辑回归算法(Logistic Resgression)

简介: 【数学建模】逻辑回归算法(Logistic Resgression)

简介

逻辑回归算法是一种简单但功能强大的二元线性分类算法。需要注意的是,尽管"逻辑回归"名字带有“回归”二字,但逻辑回归是一个分类算法,而不是回归算法。

我认为,逻辑回归算法功能强大的原因,更在于,它不仅仅可以预测类别标签,而且还可以预测类别的概率。

比如说,使用逻辑回归预测天气,不仅仅可以预测某一天是否会下雨,还可以给出下雨的概率。类似地,也可以使用逻辑回归算法来预测症状给定的情况下患者患有某种疾病的概率,这也是逻辑回归在医学领域广受欢迎的原因。

逻辑回归与条件概率

逻辑回归是一个二元分类概率模型。下面我们主要了解一下逻辑回归背后的主要机制。

p:感兴趣事件发生的概率(所谓感兴趣,正是我们想要预测的事件,比如患者在出现某些症状时患病的概率。)

几率(odds):是一个事件发生可能性的度量。数学表达式为:image.png

logit 函数:logit函数是几率(odds)的对数函数:

image.png

这里的log是自然对数。logit函数的输入即p是一个介于0-1之间的正数,输出即logit§为任意实数。

那如何将这里的输出将我们的数据相联系起来呢?

我们假设我们的输出即logit§与每一个样本的特征值 image.png和加偏置顶存在线性关系,即:

image.png


当我们真正感兴趣的是条件概率 p即在给定一个样本特征的前提下求解类别标签为1的概率。

通过logit函数,我们可以将条件概率p映射为一个实数。那反过来,我们要求p的话呢?所以,我们可以根据logit函数求解出它的逆函数。

logit函数的逆函数通常称为logistic sigmoid函数。由于这个函数具有S形状,因此有时也简称为sigmoid函数

image.png

绘制sigmoid函数

import matplotlib.pyplot as plt
import numpy as np
def sigmoid(z):
    return 1.0/(1.0+np.exp(-z))
z=np.arange(-7,7,0.1)
sigma_z=sigmoid(z)
plt.plot(z,sigma_z)
plt.axvline(0.0,color='k')
plt.ylim(-0.1,1.1)
plt.xlabel('z')
plt.ylabel('$\sigma(z)$')
plt.yticks([0.0,0.5,1.0])
ax=plt.gca()
ax.yaxis.grid(True)
plt.tight_layout()
plt.show()

678ea3dd327d437f8fe87384faea819f.png

但输入的z zz为0时,输出p为0.5。当输入的z趋近于+ ∞ + \infty+∞时,输出p接近于1。当输入的趋近于− ∞ - \infty−∞时,输出p接近于1。

而且当输入的z > 0 z>0z>0,那么p>0.5,可以判别是预测事件的发生。当z < 0 z<0z<0时,可以认为是预测事件的不发生。即对应的二值输出为:

image.png

相关文章
|
2月前
|
存储 安全 算法
|
8天前
|
算法
基于MPPT最大功率跟踪算法的涡轮机控制系统simulink建模与仿真
**摘要:** 本课题构建了基于Simulink的涡轮机MPPT控制系统模型,采用爬山法追踪最大功率点,仿真展示MPPT控制效果、功率及转速变化。使用MATLAB2022a进行仿真,结果显示高效跟踪性能。MPPT算法确保系统在不同条件下的最优功率输出,通过调整涡轮参数如转速,匹配功率-转速曲线的峰值。该方法借鉴自光伏系统,适应涡轮机的变速操作。
|
2月前
|
机器学习/深度学习 数据采集 算法
Python用逻辑回归、决策树、SVM、XGBoost 算法机器学习预测用户信贷行为数据分析报告
Python用逻辑回归、决策树、SVM、XGBoost 算法机器学习预测用户信贷行为数据分析报告
|
10天前
|
机器学习/深度学习 数据采集 人工智能
|
26天前
|
算法 Java Go
斐波那契数列是一个非常经典的数学问题,在计算机科学中也经常被用作算法设计和分析的例子。
斐波那契数列是一个非常经典的数学问题,在计算机科学中也经常被用作算法设计和分析的例子。
|
1月前
|
算法
基于LQR控制算法的电磁减振控制系统simulink建模与仿真
该文主要介绍了基于LQR控制算法的电磁减振控制系统在MATLAB2022a中的Simulink建模与仿真。文章展示了系统仿真输出的控制器收敛曲线,并提供了相关图像来解释系统原理。LQR算法通过优化二次成本函数实现振动抑制,尤其适用于电磁减振系统,利用电磁执行机构动态调整力,高效抑制振动。文中附有关键模型和原理图。
|
1月前
|
机器学习/深度学习 算法 索引
Logistic算法
Logistic算法
16 2
|
1月前
|
机器学习/深度学习 算法 数据可视化
使用Logistic算法从疝气病症预测病马的死亡率
使用Logistic算法从疝气病症预测病马的死亡率
23 1
|
10天前
|
算法 安全 网络安全
支付系统,网络安全06----支付安全---,机密性,加密算法,目前最流行的加密算法,AES加密算法,目前最流行的非对称加密算法RSA,对称加密和非对称加密的优缺点,非对称加密是基于非常复杂的数学算法
支付系统,网络安全06----支付安全---,机密性,加密算法,目前最流行的加密算法,AES加密算法,目前最流行的非对称加密算法RSA,对称加密和非对称加密的优缺点,非对称加密是基于非常复杂的数学算法
|
2月前
|
机器学习/深度学习 算法
【机器学习】比较朴素贝叶斯算法与逻辑回归算法
【5月更文挑战第10天】【机器学习】比较朴素贝叶斯算法与逻辑回归算法