统计学习--最大似然和贝叶斯估计的联系

简介: 概率是已知模型和参数,推数据;统计是已知数据,推模型和参数

概率和统计的区别

概率是已知模型和参数,推数据;统计是已知数据,推模型和参数

最大似然估计为点估计

利用数据样本信息

在参数Theta下数据集X发生的概率最大

贝叶斯估计为分布估计

利用数据样本信息和先验知识

也即是在数据集X发生的情况下,哪一个参数yi发生的概率最大,称为后验概率,测试结果下,结果是真实的概率

一个较好的例子:

8d1203e65766c1301ae0c7835a75a6f7_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

1、掷硬币实验

 试验为伯努利试验

19e1a7d9ea0d91d3988d86e703a068a5_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

57814bbd130540a6e6a4c40360668df9_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

极大似然估计的推导:

23846baa6ec90ab3d4fdf0d134949e05_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png贝叶斯估计的推导


ed8cb7abf50f1818291e2a17ddf46e34_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

2、数据服从正态分布,依据样本估计u,通过极大似然估计和贝叶斯估计来阐述

e903fe128f2cf20bd216291ce133bc86_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

极大似然估计推导:

f326777eb74d70df91cd28f4a78e5cf0_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

贝叶斯估计:

6b58726b0eeec8048611dd4db0048c07_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

参考资料

1、《统计学习》

2、最大似然估计MLE与贝叶斯估计 https://blog.csdn.net/bitcarmanlee/article/details/52201858

3、详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解https://blog.csdn.net/u011508640/article/details/72815981

4、伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布

https://blog.csdn.net/kingzone_2008/article/details/80584743

5、正态分布https://blog.csdn.net/huangjx36/article/details/77982503


目录
相关文章
|
关系型数据库 MySQL 数据安全/隐私保护
MySQL8.0生产环境二进制标准安装
MySQL8.0生产环境二进制标准安装
|
数据采集 网络协议 定位技术
Socks5代理IP可以运用到哪些应用场景?
Socks5代理与HTTP代理对比,Socks5支持多种协议,提供更强认证,适合P2P和UDP,适用于匿名上网、突破网络限制、低延迟游戏、P2P文件共享、SEO和网络爬虫。其多功能性、安全性和广泛支持使其在多个场景中优于HTTP代理。随着技术发展,Socks5代理的应用前景广阔。
|
JavaScript 开发者
Vue状态管理: 在Vuex中,什么是mutation?它们应该如何使用?
Vue状态管理: 在Vuex中,什么是mutation?它们应该如何使用?
507 4
|
Python
【代码片段】利用python多进程进行接口并发测试
利用python多进程进行接口并发测试
407 0
|
机器学习/深度学习 人工智能 算法
没想到!AlphaZero式树搜索也能用来增强大语言模型推理与训练
【7月更文挑战第26天】Xidong Feng等研究人员提出了一项创新方法,通过采用AlphaZero式的树搜索算法来增强大语言模型(LLMs)的推理与训练能力。这项技术,称为TS-LLM(Tree-Search for LLMs),将LLMs的解码过程视为搜索问题,并运用AlphaZero的树搜索来指导这一过程。TS-LLM不仅提升了模型的通用性和适应性,还在多个任务中实现了显著的性能提升。此外,它能在训练阶段指导LLMs学习更优的解码策略。尽管如此,TS-LLM依赖于高质量的预训练LLM,并面临较高的计算成本挑战。[论文](https://arxiv.org/abs/2309.17179)
278 5
|
前端开发 数据可视化 JavaScript
探索前端可视化开发:低代码平台原理与实践
【4月更文挑战第6天】本文探讨了低代码平台在前端开发中的应用,包括模型驱动和组件化开发原理,以及自动化代码生成和部署的优势。低代码平台能提高开发效率,降低技术门槛,并灵活适应变更,同时保证应用的一致性。实践中,需明确适用场景,选择合适平台,并培养团队低代码技能。通过与现有技术栈融合及持续优化,低代码平台能推动业务创新和数字化转型,开发者应积极探索其在实际项目中的应用。
470 0
|
测试技术 持续交付 数据安全/隐私保护
软件测试的艺术与科学:探索自动化测试框架
在软件开发的世界中,测试是确保产品质量的关键环节。本文将深入探讨自动化测试框架的重要性和实现方法,旨在为读者揭示如何通过自动化测试提升软件测试效率和准确性。我们将从测试的基本概念出发,逐步引导读者了解自动化测试框架的设计和实施过程,以及如何选择合适的工具来支持测试活动。文章不仅提供理论知识,还将分享实用的代码示例,帮助读者将理论应用于实践。无论你是测试新手还是经验丰富的开发者,这篇文章都将为你打开一扇通往更高效、更可靠软件测试的大门。
178 1
|
存储 监控 NoSQL
MongoDB以其独特的优势和广泛的应用场景
MongoDB以其独特的优势和广泛的应用场景
519 8
|
Ubuntu 关系型数据库 MySQL
使用PXD工具一键安装PolarDB-X的体验
这次体验挺有意思的,对PolarDB-X有了更深入的了解,也希望能通过这些建议帮助产品做得更好。
688 2
使用PXD工具一键安装PolarDB-X的体验
WordPress软件下载主题Inpandora
Inpandora(中文名为潘多拉)是一款基于软件下载站定制的WordPress主题,帮助站长使用WordPress快速搭建一个专业的WordPress软件博客。Inpandora这款WordPress主题可以说是因软件而生,从UI设计到后台设置功能,都充分体现出这款主题的专业性。
255 2