MachineLearning之Logistic回归

简介: 一、概述 假设现在有一些数据点,我们用一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就称为回归; 利用Logistic回归进行分类的主要思想是: 根据现有数据对分类边界线建立回归公式, 以此进行分类。

一、概述

 假设现在有一些数据点,我们用一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就称为回归;

 利用Logistic回归进行分类的主要思想是: 根据现有数据对分类边界线建立回归公式, 以此进行分类。 这里的回归一词源于最佳拟合, 表示要找到最佳拟合参数集, 其背后的数学分析将在下一部分介绍。 训练分类器时的做法就是寻找最佳拟合参数, 使用的是最优化算法。

二、基于Logistic回归和Sigmoid函数的分类 

  单位阶跃函数也称海维赛德阶跃函数(Heaviside step function)
  Sigmoid函数:

    

  为了实现Logistic回归分类器, 我们可以在每个特征上乘以一个回归系数, 然后把所有的结果值相加, 将这个总和代入Sigmoid函数中, 进而得到一个范围在0~1之间的数值。 最后, 结果大于0.5的数据被归入1类, 小于0.5的即被归入0

类。 所以, Logistic回归也可以被看成是一种概率估计。

  那么现在问题来了? 在确定了分类器的函数形式之后,如何确定最佳回归系数【不同于 加权线性回归中的“权重”】呢?

  基于最优化方法的最佳回归系数确定

   梯度上升法 

目录
打赏
0
0
0
0
15
分享
相关文章
|
11月前
|
【MATLAB】 SSA奇异谱分析信号分解算法
【MATLAB】 SSA奇异谱分析信号分解算法
566 0
Logistic回归(一)
这篇内容是一个关于逻辑回归的教程概览
Logistic回归(二)
Logistic回归,又称对数几率回归,是用于分类问题的监督学习算法。它基于对数几率(log-odds),通过对数转换几率来确保预测值在0到1之间,适合于二分类任务。模型通过Sigmoid函数(S型曲线)将线性预测转化为概率。逻辑回归损失函数常采用交叉熵,衡量模型预测概率分布与真实标签分布的差异。熵和相对熵(KL散度)是评估分布相似性的度量,低熵表示分布更集中,低交叉熵表示模型预测与真实情况更接近。
|
11月前
|
R语言Metropolis Hastings采样和贝叶斯泊松回归Poisson模型
R语言Metropolis Hastings采样和贝叶斯泊松回归Poisson模型
【MATLAB 】mlptdenoise 信号分解+希尔伯特黄变换+边际谱算法
【MATLAB 】mlptdenoise 信号分解+希尔伯特黄变换+边际谱算法
154 0
凸优化介绍
凸优化介绍。更多文章请关注我的微信公众号:Python学习杂记
262 0
最小二乘支持向量机”在学习偏微分方程 (PDE) 解方面的应用(Matlab代码实现)
最小二乘支持向量机”在学习偏微分方程 (PDE) 解方面的应用(Matlab代码实现)
数学建模常用算法:粒子群算法(PSO)求解二元函数最小值+限定x,y范围测试【java实现--详细注释+Matlab绘制粒子群飞行过程】
数学建模常用算法:粒子群算法(PSO)求解二元函数最小值+限定x,y范围测试【java实现--详细注释+Matlab绘制粒子群飞行过程】
234 0
计量经济学笔记2---最大似然估计
计量经济学笔记2---最大似然估计
175 0
计量经济学笔记2---最大似然估计