统计学习--最大似然和贝叶斯估计的联系

简介: 概率是已知模型和参数,推数据;统计是已知数据,推模型和参数

概率和统计的区别

概率是已知模型和参数,推数据;统计是已知数据,推模型和参数

最大似然估计为点估计

利用数据样本信息

在参数Theta下数据集X发生的概率最大

贝叶斯估计为分布估计

利用数据样本信息和先验知识

也即是在数据集X发生的情况下,哪一个参数yi发生的概率最大,称为后验概率,测试结果下,结果是真实的概率

一个较好的例子:

8d1203e65766c1301ae0c7835a75a6f7_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

1、掷硬币实验

 试验为伯努利试验

19e1a7d9ea0d91d3988d86e703a068a5_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

57814bbd130540a6e6a4c40360668df9_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

极大似然估计的推导:

23846baa6ec90ab3d4fdf0d134949e05_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png贝叶斯估计的推导


ed8cb7abf50f1818291e2a17ddf46e34_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

2、数据服从正态分布,依据样本估计u,通过极大似然估计和贝叶斯估计来阐述

e903fe128f2cf20bd216291ce133bc86_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

极大似然估计推导:

f326777eb74d70df91cd28f4a78e5cf0_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

贝叶斯估计:

6b58726b0eeec8048611dd4db0048c07_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

参考资料

1、《统计学习》

2、最大似然估计MLE与贝叶斯估计 https://blog.csdn.net/bitcarmanlee/article/details/52201858

3、详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解https://blog.csdn.net/u011508640/article/details/72815981

4、伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布

https://blog.csdn.net/kingzone_2008/article/details/80584743

5、正态分布https://blog.csdn.net/huangjx36/article/details/77982503


目录
相关文章
|
9月前
|
算法
【数理统计实验(二)】参数估计
【数理统计实验(二)】参数估计
|
机器学习/深度学习 存储 算法
机器学习面试笔试知识点之非监督学习-K 均值聚类、高斯混合模型(GMM)、自组织映射神经网络(SOM)
机器学习面试笔试知识点之非监督学习-K 均值聚类、高斯混合模型(GMM)、自组织映射神经网络(SOM)
135 0
|
9月前
|
机器学习/深度学习 数据可视化
R语言广义线性模型GLM、多项式回归和广义可加模型GAM预测泰坦尼克号幸存者
R语言广义线性模型GLM、多项式回归和广义可加模型GAM预测泰坦尼克号幸存者
|
9月前
|
机器学习/深度学习 算法
【MATLAB】交叉验证求光滑因子的广义神经网络回归预测算法
【MATLAB】交叉验证求光滑因子的广义神经网络回归预测算法
101 0
15 贝叶斯方法
15 贝叶斯方法
63 0
|
机器学习/深度学习 资源调度 并行计算
经典机器学习系列(一)【 贝叶斯分类、 最大似然估计、 最大后验概率估计】
经典机器学习系列(一)【 贝叶斯分类、 最大似然估计、 最大后验概率估计】
256 0
|
Python
计量经济学笔记之OLS回归的推导
计量经济学笔记之OLS回归的推导
237 0
计量经济学笔记之OLS回归的推导
|
机器学习/深度学习 人工智能 资源调度
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
341 0
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
|
机器学习/深度学习 vr&ar Python
机器学习:详解极大似然估计(MLE)与极大后验估计(MAP)
机器学习:详解极大似然估计(MLE)与极大后验估计(MAP)
473 0
机器学习:详解极大似然估计(MLE)与极大后验估计(MAP)
|
Python 算法 机器学习/深度学习
《贝叶斯方法:概率编程与贝叶斯推断》——导读
贝叶斯方法是一种常用的推断方法,然而对读者来说它通常隐藏在乏味的数学分析章节背后。关于贝叶斯推断的书通常包含两到三章关于概率论的内容,然后才会阐述什么是贝叶斯推断。不幸的是,由于大多数贝叶斯模型在数学上难以处理,这些书只会为读者展示简单、人造的例子。
1769 0
《贝叶斯方法:概率编程与贝叶斯推断》——导读