【机器学习】最大似然估计

简介: 【1月更文挑战第23天】【机器学习】最大似然估计

  最大似然估计(maximum likelihood estimation, MLE)一种重要而普遍的求估计量的方法。最大似然估计明确地使用概率模型,其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然估计是一类完全基于统计的系统发生树重建方法的代表。

  是不是,有点看不懂,太学术了,我们举例说明~

  假如有一个罐子,里面有黑白两种颜色的球,数目多少不知,两种颜色的比例也不知。我们想知道罐中白球和黑球的比例,但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来,记录球的颜色,然后把拿出来的球再放回罐中。这个过程可以重复,我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中,有七十次是白球,请问罐中白球所占的比例最有可能是多少?

很多小伙伴,甚至不用算,凭感觉,就能给出答案:70%

下面是详细推导过程:

  • 最大似然估计,计算

  • 白球概率是p,黑球是1-p(罐子中非黑即白)

  • 罐子中取一个请问是白球的概率是多少?

    • $$p$$
  • 罐子中取两个球,两个球都是白色,概率是多少?

    • $$p^2$$
  • 罐子中取5个球都是白色,概率是多少?

    • $$p^5$$
  • 罐子中取10个球,9个是白色,一个是黑色,概率是多少呢?

    • $C{10}^1 = C{10}^1$ 这个两个排列组合公式是相等的~
    • $$C_{10}^9p^9(1-p) = C_{10}^1p^9(1-p)$$
  • 罐子取100个球,70次是白球,30次是黑球,概率是多少?

  • $$P = C_{100}^{30}p^{70}(1-p)^{30}$$

  • 最大似然估计,什么时候P最大呢?

    $C_{100}^{30}$是常量,可以去掉

    p > 0,1- p > 0,所以上面概率想要求最大值,那么求导数即可!

  • $$P' = 70*p^{69}*(1-p)^{30} + p^{70}*30*(1-p)^{29}*(-1)$$

    令导数为0:

  • $$0 = 70*p^{69}*(1-p)^{30} +p^{70}*30*(1-p)^{29}*(-1)$$

    公式化简:

  • $$0 = 70*(1-p) - p*30$$

  • $$0 = 70 - 100*p$$

  • p = 70%

相关文章
|
机器学习/深度学习 资源调度 并行计算
经典机器学习系列(一)【 贝叶斯分类、 最大似然估计、 最大后验概率估计】
经典机器学习系列(一)【 贝叶斯分类、 最大似然估计、 最大后验概率估计】
204 0
|
机器学习/深度学习 DataX C++
机器学习入门详解(一):理解监督学习中的最大似然估计
 这篇文章在统计学的背景下对机器学习学习建模过程进行了解密。将带你了解如何对数据的假设使我们能够创建有意义的优化问题。事实上,我们将推导出常用的标准,如分类中的交叉熵和回归中的均方误差。
151 0
机器学习入门详解(一):理解监督学习中的最大似然估计
|
机器学习/深度学习 算法 Python
【机器学习算法-python实现】最大似然估计(Maximum Likelihood)
1.背景            最大似然估计是概率论中常常涉及到的一种统计方法。大体的思想是,在知道概率密度f的前提下,我们进行一次采样,就可以根据f来计算这个采样实现的可能性。当然最大似然可以有很多变化,这里实现一种简单的,实际项目需要的时候可以再更改。        博主是参照wiki来学习的,地址请点击我            这里实现的是特别简单的例子如下(摘自wiki的最大似然)
2703 0
|
5月前
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈,提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统,通过分析用户行为数据和商品信息,实现个性化推荐,从而提高推荐效率和准确性。
210 14
|
5月前
|
机器学习/深度学习 算法 数据可视化
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
97 1
|
5月前
|
机器学习/深度学习 算法 搜索推荐
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
|
5月前
|
机器学习/深度学习 数据采集 算法
解码癌症预测的密码:可解释性机器学习算法SHAP揭示XGBoost模型的预测机制
解码癌症预测的密码:可解释性机器学习算法SHAP揭示XGBoost模型的预测机制
258 0
|
5月前
|
机器学习/深度学习 数据采集 监控
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
792 0
|
5月前
|
机器学习/深度学习 人工智能 算法
探索机器学习中的支持向量机(SVM)算法
【2月更文挑战第20天】 在数据科学与人工智能的领域中,支持向量机(SVM)是一种强大的监督学习算法,它基于统计学习理论中的VC维理论和结构风险最小化原理。本文将深入探讨SVM的核心概念、工作原理以及实际应用案例。我们将透过算法的数学原理,揭示如何利用SVM进行有效的数据分类与回归分析,并讨论其在处理非线性问题时的优势。通过本文,读者将对SVM有更深层次的理解,并能够在实践中应用这一算法解决复杂的数据问题。
67 0
|
5月前
|
机器学习/深度学习 分布式计算 算法
大模型开发:你如何确定使用哪种机器学习算法?
在大型机器学习模型开发中,选择算法是关键。首先,明确问题类型(如回归、分类、聚类等)。其次,考虑数据规模、特征数量和类型、分布和结构,以判断适合的算法。再者,评估性能要求(准确性、速度、可解释性)和资源限制(计算资源、内存)。同时,利用领域知识和正则化来选择模型。最后,通过实验验证和模型比较进行优化。此过程涉及迭代和业务需求的技术权衡。
86 2
下一篇
无影云桌面