EM算法|机器学习推导系列(十二)

简介: EM算法|机器学习推导系列(十二)

一、概述


  1. 介绍


概率模型有时既包含观测变量(observed variable),又包含隐变量(latent variable)。当概率模型只包含观测变量时,那么给定观测数据,就可以直接使用极大似然估计法或者贝叶斯估计法进行模型参数的求解。然而如果模型包含隐变量,就不能直接使用这些简单的方法了。EM算法就是用来解决这种含有隐变量的概率模型参数的极大似然参数估计法。这里只讨论极大似然估计,极大后验估计与其类似。


  1. 算法


EM算法的输入如下:


3M%CB3~QV~RK4BX9649A~4O.png


在算法运行开始时需要选择模型的初始化参数)AI9QT09W1VI}91[FO4M[BU.png。EM算法是一种迭代更新的算法,其计算公式为:


2G}~34`)2)7{N5$]R$F$P]S.png


这个公式包含了迭代的两步:

①E step:计算C8N7R]Q$`GRJCW{9AGT}}]7.png

②M step:计算使这个期望最大化的参数得到下一个EM步骤的输入。

总结来说,EM算法包含以下步骤:

①选择初始化参数)AI9QT09W1VI}91[FO4M[BU.png

②E step;


③M step;


④重复②③步直至收敛。


二、EM算法的收敛性

SA)I3I~DKQ_BG@4[[DA@GXN.png

因此有:

2SGJI$1Z~T_S16]U7A3$[8T.png

)YF[8MY5N2[U}PJ9DT~KP9X.png

因此有:

4HUWSG6BS1}T@VL][1RPRND.png

三、EM算法的导出


  1. ELBO+KL散度的方法


对于前面用过的式子,首先引入一个新的概率分布]S%I)CKQ9O7%6FPK0TM}{UY.png

`NAT)Z7PHCP4EKL]LF]%JTM.png

B$@]O8%9NMKKC]7VYF9)$`2.png

                                                              ELBO


然后我们观察一下{C[]C$QYA%F5PBVGW9D[4J2.png取极大值的过程:

K(FSD4J9DZ%R{KIRMKJEBG8.png


由此我们就导出了EM算法的迭代公式。


  1. ELBO+Jensen不等式的方法


首先要具体介绍一下Jensen不等式:对于一个凹函数 S]D%@(9U(482U~7~}`T[A5O.png(国内外对凹凸函数的定义恰好相反,这里的凹函数指的是国外定义的凹函数),我们查看其图像如下:


GY0O()_G1%YMU_(1{V7FUWP.png

                                               Jensen不等式


BE~K{XVIX2E5_4$NR9WJ]YQ.png

5WBZ{NG]XH@TL(XUMPZ$RCB.png


上面的说明只是对Jensen不等式的一个形象的描述,而非严谨的证明。接下来应用Jensen不等式来导出EM算法:


BRWKG%3`W2XFMO]CN_DP`[7.png


这种方法到这里就和上面的方法一样了,总结来说就是:


8`~3F]Y{1_1QRZ~M[O~2BMO.png


四、广义EM算法

ZN_R6B6%)UOZJ3)I6PB2]BC.png

五、EM的变种


EM 算法类似于坐标上升法,固定部分坐标,优化其他坐标,再⼀遍⼀遍的迭代。如果在 EM 框架中,⽆法求解K~AO$3)~PZZ3(QA4LL`(7@0.png后验概率,那么需要采⽤⼀些变种的 EM 来估算这个后验:


①基于平均场的变分推断,VBEM/VEM


②基于蒙特卡洛的EM,MCEM

相关文章
|
3月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
176 4
|
1月前
|
机器学习/深度学习 人工智能 算法
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
183 13
机器学习算法的优化与改进:提升模型性能的策略与方法
|
25天前
|
机器学习/深度学习 算法 网络安全
CCS 2024:如何严格衡量机器学习算法的隐私泄露? ETH有了新发现
在2024年CCS会议上,苏黎世联邦理工学院的研究人员提出,当前对机器学习隐私保护措施的评估可能存在严重误导。研究通过LiRA攻击评估了五种经验性隐私保护措施(HAMP、RelaxLoss、SELENA、DFKD和SSL),发现现有方法忽视最脆弱数据点、使用较弱攻击且未与实际差分隐私基线比较。结果表明这些措施在更强攻击下表现不佳,而强大的差分隐私基线则提供了更好的隐私-效用权衡。
46 14
|
2月前
|
算法
PAI下面的gbdt、xgboost、ps-smart 算法如何优化?
设置gbdt 、xgboost等算法的样本和特征的采样率
81 2
|
3月前
|
机器学习/深度学习 算法 数据挖掘
C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出
本文探讨了C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出。文章还介绍了C语言在知名机器学习库中的作用,以及与Python等语言结合使用的案例,展望了其未来发展的挑战与机遇。
71 1
|
3月前
|
机器学习/深度学习 自然语言处理 算法
深入理解机器学习算法:从线性回归到神经网络
深入理解机器学习算法:从线性回归到神经网络
|
3月前
|
机器学习/深度学习 算法
深入探索机器学习中的决策树算法
深入探索机器学习中的决策树算法
54 0
|
9月前
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈,提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统,通过分析用户行为数据和商品信息,实现个性化推荐,从而提高推荐效率和准确性。
271 14
|
9月前
|
机器学习/深度学习 算法 数据可视化
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
162 1
|
9月前
|
机器学习/深度学习 算法 搜索推荐
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)