统计学习--最大似然和贝叶斯估计的联系

简介: 概率是已知模型和参数,推数据;统计是已知数据,推模型和参数

概率和统计的区别

概率是已知模型和参数,推数据;统计是已知数据,推模型和参数

最大似然估计为点估计

利用数据样本信息

在参数Theta下数据集X发生的概率最大

贝叶斯估计为分布估计

利用数据样本信息和先验知识

也即是在数据集X发生的情况下,哪一个参数yi发生的概率最大,称为后验概率,测试结果下,结果是真实的概率

一个较好的例子:

8d1203e65766c1301ae0c7835a75a6f7_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

1、掷硬币实验

 试验为伯努利试验

19e1a7d9ea0d91d3988d86e703a068a5_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

57814bbd130540a6e6a4c40360668df9_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

极大似然估计的推导:

23846baa6ec90ab3d4fdf0d134949e05_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png贝叶斯估计的推导


ed8cb7abf50f1818291e2a17ddf46e34_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

2、数据服从正态分布,依据样本估计u,通过极大似然估计和贝叶斯估计来阐述

e903fe128f2cf20bd216291ce133bc86_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

极大似然估计推导:

f326777eb74d70df91cd28f4a78e5cf0_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

贝叶斯估计:

6b58726b0eeec8048611dd4db0048c07_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

参考资料

1、《统计学习》

2、最大似然估计MLE与贝叶斯估计 https://blog.csdn.net/bitcarmanlee/article/details/52201858

3、详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解https://blog.csdn.net/u011508640/article/details/72815981

4、伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布

https://blog.csdn.net/kingzone_2008/article/details/80584743

5、正态分布https://blog.csdn.net/huangjx36/article/details/77982503


目录
相关文章
|
8月前
|
机器学习/深度学习 数据可视化
R语言MCMC的lme4二元对数Logistic逻辑回归混合效应模型分析吸烟、喝酒和赌博影响数据
R语言MCMC的lme4二元对数Logistic逻辑回归混合效应模型分析吸烟、喝酒和赌博影响数据
|
8月前
|
算法 Python
R语言随机波动模型SV:马尔可夫蒙特卡罗法MCMC、正则化广义矩估计和准最大似然估计上证指数收益时间序列
R语言随机波动模型SV:马尔可夫蒙特卡罗法MCMC、正则化广义矩估计和准最大似然估计上证指数收益时间序列
|
8月前
|
机器学习/深度学习 数据可视化
R语言广义线性模型GLM、多项式回归和广义可加模型GAM预测泰坦尼克号幸存者
R语言广义线性模型GLM、多项式回归和广义可加模型GAM预测泰坦尼克号幸存者
|
8月前
|
算法 数据可视化 Python
R语言MCMC:Metropolis-Hastings采样用于回归的贝叶斯估计
R语言MCMC:Metropolis-Hastings采样用于回归的贝叶斯估计
|
8月前
|
算法
R语言Metropolis Hastings采样和贝叶斯泊松回归Poisson模型
R语言Metropolis Hastings采样和贝叶斯泊松回归Poisson模型
|
8月前
|
人工智能
R语言中实现广义相加模型GAM和普通最小二乘(OLS)回归
R语言中实现广义相加模型GAM和普通最小二乘(OLS)回归
|
8月前
|
算法
Metropolis Hastings采样和贝叶斯泊松回归Poisson模型
Metropolis Hastings采样和贝叶斯泊松回归Poisson模型
|
8月前
|
算法
R语言贝叶斯推断与MCMC:实现Metropolis-Hastings 采样算法示例
R语言贝叶斯推断与MCMC:实现Metropolis-Hastings 采样算法示例
|
8月前
|
机器学习/深度学习 算法 C++
R语言贝叶斯MCMC:GLM逻辑回归、Rstan线性回归、Metropolis Hastings与Gibbs采样算法实例
R语言贝叶斯MCMC:GLM逻辑回归、Rstan线性回归、Metropolis Hastings与Gibbs采样算法实例
15 贝叶斯方法
15 贝叶斯方法
51 0

热门文章

最新文章

下一篇
开通oss服务