高斯分布|机器学习推导系列(二)

简介: 高斯分布|机器学习推导系列(二)

一、概述


假设有以下数据:


QQ图片20220606101729.png


二、通过极大似然估计高斯分布的均值和方差


  1. 极大似然

QQ图片20220606101827.png


  1. 高斯分布

QQ图片20220606101856.png


  1. 一维高斯分布下的估计

K@DM17JQB4[(B~{WZ7__KZ1.png

N%3RDO0A77Y_F7LT@@VC%82.png

@}I@}QPF)ND2AA6(W[7C421.png

7EFWR}}T}8BRG5BJDLUK8T8.png

BN}L~9_]DCBA67F1V@5RF[O.png

2XP6@R_J31221L@A0KZVL]W.png

@K(3DIFL)Q]S3F)O@~@0~7R.png

]QOOV8N9X9ZJPS2KV3ZYMXC.png

NC[B38}85FWZN@~E9K4TRDF.png

FNYSKGG44K(PBTDGM}@HNPR.png

~$)}X8[[`L0DQDSE[SQ0EAX.png

方差的无偏估计:


W]]C3YZM)%RHDO)R7{O@LS6.png


三、为什么高斯分布的等高线是个“椭圆”


  1. 高斯分布与马氏距离


  • 多维高斯分布


[~U78[EZKI@R~DA0F3WH6IB.png

  • 马氏距离

58$4VE~ZRDP){4(ZIH797X5.png


  1. 证明高斯分布等高线为椭圆


  • 协方差矩阵的特征值分解

QM[3_HJYU1@)@}}1I]R)A$3.png(W`WY%N(7EWM5O390{SJ{G7.png


  • 将概率密度整理成椭圆方程的形式


image.png

D`6D_$I)TO2`(3(V14%`%H9.png

QTL_VIKM[)UG{UBO7LN6VCA.png

R4DQWU}{(5W2$W}PNCS[R%N.png


                                                    二维高斯分布


四、高斯分布的局限性


  1. 参数过多

PZZPR)BWV5L39T8E$A7BZ~B.png

可以通过假设高斯分布的协方差矩阵为对角矩阵来减少参数,当高斯分布的协方差矩阵为对角矩阵时,特征向量的方向就会和原坐标轴的方向平行,因此高斯分布的等高线(同心椭圆)就不会倾斜。


另外如果在高斯分布的协方差矩阵为对角矩阵为对角矩阵的基础上使得其特征值全部相等(即M66UOV40WDN@VATDL$BS~}0.png),则高斯分布的等高线就会成为一个圆形,而且不会倾斜,称为各向同性


  1. 单个高斯分布拟合能力有限


解决方案是使用多个高斯分布,比如高斯混合模型。


五、求高斯分布的边缘概率与条件概率


  1. 概述


首先将变量、均值和方差进行划分:

}IIWCR6LQV@E7%RPUOY_2_8.png本部分旨在根据上述已知来求2`P%}0IAC[94~ECGF~4MWI7.png

  1. 定理


以下定义为推导过程中主要用到的定理,这里只展示定理的内容,不进行证明:


BP(@}RV]@TKO8}@7PEDMXQQ.png


一个简单但不严谨的证明:


O7L3}@@4_@O0T[{YZNY(HOT.png

KBM@N]9BSZAEAAN6TMM%GCF.png

K`X3$$S%JL(6`PRZ~)6AOMQ.png

U$B$JL[3W6R2OQI8HGKJWFQ.png

J(%TZNUF~EYDL6HYCFYWTS6.png

DD()S($U79BN_3}FUJ1~@L2.pngE{LA)IT[}F$G3%8]A~KQ%ZT.png

MUZOQPEY98[P[[O)S]XG)F1.png


K[(0)7WW}(`(0D~)QN{RZM9.png


六、求高斯分布的联合概率分布


  1. 概述

9IL}~$_L_89_M0UDP~)X%[3.png

2TZT7R)3AB$$G{_Y7T]]35G.png

`5X_A$AYSHSNA}6(3H8`VXB.png

S%R5PR}S@__2PPUZK1JZ%Y1.png

Y(7V98{R])P60MESWSED3}3.png

1~GK}XAAMT7HZ{P%7%QCL68.pngK6V2NJS0PUNN$O7BRH57J[X.png

_6SWAO6P7Q6O7C3GXKT3PTW.png


相关文章
|
机器学习/深度学习
受限玻尔兹曼机|机器学习推导系列(二十五)
受限玻尔兹曼机|机器学习推导系列(二十五)
677 0
受限玻尔兹曼机|机器学习推导系列(二十五)
|
机器学习/深度学习 人工智能 移动开发
【机器学习】线性分类——高斯判别分析GDA(理论+图解+公式推导)
【机器学习】线性分类——高斯判别分析GDA(理论+图解+公式推导)
285 0
【机器学习】线性分类——高斯判别分析GDA(理论+图解+公式推导)
|
机器学习/深度学习 人工智能 算法
【机器学习】线性分类——线性判别分析LDA(理论+图解+公式推导)
【机器学习】线性分类——线性判别分析LDA(理论+图解+公式推导)
186 0
【机器学习】线性分类——线性判别分析LDA(理论+图解+公式推导)
|
机器学习/深度学习 算法 数据挖掘
100天搞定机器学习|day44 k均值聚类数学推导与python实现
100天搞定机器学习|day44 k均值聚类数学推导与python实现
100天搞定机器学习|day44 k均值聚类数学推导与python实现
|
机器学习/深度学习 算法
100天搞定机器学习|day38 反向传播算法推导
100天搞定机器学习|day38 反向传播算法推导
100天搞定机器学习|day38 反向传播算法推导
|
机器学习/深度学习 算法
Sigmoid信念网络|机器学习推导系列(二十八)
Sigmoid信念网络|机器学习推导系列(二十八)
217 0
Sigmoid信念网络|机器学习推导系列(二十八)
|
机器学习/深度学习 算法
近似推断|机器学习推导系列(二十七)
近似推断|机器学习推导系列(二十七)
120 0
近似推断|机器学习推导系列(二十七)
|
机器学习/深度学习 算法
配分函数|机器学习推导系列(二十六)
配分函数|机器学习推导系列(二十六)
229 0
配分函数|机器学习推导系列(二十六)
|
机器学习/深度学习
高斯过程回归|机器学习推导系列(二十四)
高斯过程回归|机器学习推导系列(二十四)
459 0
高斯过程回归|机器学习推导系列(二十四)
|
机器学习/深度学习
贝叶斯线性回归|机器学习推导系列(二十三)
贝叶斯线性回归|机器学习推导系列(二十三)
279 0
贝叶斯线性回归|机器学习推导系列(二十三)