《统计学习方法》极简笔记P6:逻辑回归算法推导

简介: 《统计学习方法》极简笔记P6:逻辑回归算法推导

逻辑回归模型


Logistic分布


分布函数


640.png

密度函数

640.png


逻辑回归模型


640.png


比较上述两个条件概率值,将实例x分到概率大的那一类

image.png


则,逻辑回归模型如下


640.png


另:事件发生概率为p,则该事件的几率(odds)为p/(1-p),对数几率为logit(p)=log(p/1-p)


所以


image.png


即,逻辑回归模型中,Y=1的对数几率是x的线性函数


逻辑回归模型参数估计


极大似然估计法


设:


image.png


似然函数为


image.png


对数似然函数为


640.png


对于L(w)求极大值,得w的估计值


640.png


多项逻辑回归模型


image.png

640.png


相关文章
|
2月前
|
负载均衡 算法
ribbon的7种负载均衡算法和替换方法
ribbon的7种负载均衡算法和替换方法
36 0
ribbon的7种负载均衡算法和替换方法
|
6天前
|
编解码 算法 数据可视化
【视频】时间序列分类方法:动态时间规整算法DTW和R语言实现
【视频】时间序列分类方法:动态时间规整算法DTW和R语言实现
11 0
|
8天前
|
机器学习/深度学习 算法 数据挖掘
R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病
R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病
11 1
|
13天前
|
机器学习/深度学习 存储 人工智能
一阶优化算法启发,北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法
【4月更文挑战第19天】北京大学林宙辰团队在深度学习领域取得突破,提出基于一阶优化算法的神经网络设计方法,构建具有万有逼近性质的模型,提升训练速度和泛化能力。该方法利用一阶导数信息,高效处理大规模问题。虽然面临非光滑优化和收敛速度挑战,但团队通过正则化和自适应学习率等策略进行改进,相关研究在多个标准数据集上表现出色。
10 1
|
15天前
|
机器学习/深度学习 算法 C++
R语言贝叶斯MCMC:GLM逻辑回归、Rstan线性回归、Metropolis Hastings与Gibbs采样算法实例
R语言贝叶斯MCMC:GLM逻辑回归、Rstan线性回归、Metropolis Hastings与Gibbs采样算法实例
42 0
|
16天前
|
机器学习/深度学习 算法
R语言使用Metropolis- Hasting抽样算法进行逻辑回归
R语言使用Metropolis- Hasting抽样算法进行逻辑回归
14 0
|
24天前
|
存储 算法
从动态规划到贪心算法:最长递增子序列问题的方法全解析
从动态规划到贪心算法:最长递增子序列问题的方法全解析
19 1
|
29天前
|
存储 算法
从动态规划到贪心算法:最长递增子序列问题的方法全解析
从动态规划到贪心算法:最长递增子序列问题的方法全解析
97 2
|
2月前
|
算法 程序员 编译器
【数据结构】算法效率的度量方法
【数据结构】算法效率的度量方法
16 0
|
2月前
|
算法 Python
数据结构与算法 经典排序方法(Python)
数据结构与算法 经典排序方法(Python)
25 0