一、概述
假设有以下数据:
二、通过极大似然估计高斯分布的均值和方差
- 极大似然
- 高斯分布
- 一维高斯分布下的估计
方差的无偏估计:
三、为什么高斯分布的等高线是个“椭圆”
- 高斯分布与马氏距离
- 多维高斯分布
- 马氏距离
- 证明高斯分布等高线为椭圆
- 协方差矩阵的特征值分解
- 将概率密度整理成椭圆方程的形式
二维高斯分布
四、高斯分布的局限性
- 参数过多
可以通过假设高斯分布的协方差矩阵为对角矩阵来减少参数,当高斯分布的协方差矩阵为对角矩阵时,特征向量的方向就会和原坐标轴的方向平行,因此高斯分布的等高线(同心椭圆)就不会倾斜。
另外如果在高斯分布的协方差矩阵为对角矩阵为对角矩阵的基础上使得其特征值全部相等(即),则高斯分布的等高线就会成为一个圆形,而且不会倾斜,称为各向同性。
- 单个高斯分布拟合能力有限
解决方案是使用多个高斯分布,比如高斯混合模型。
五、求高斯分布的边缘概率与条件概率
- 概述
首先将变量、均值和方差进行划分:
本部分旨在根据上述已知来求
- 定理
以下定义为推导过程中主要用到的定理,这里只展示定理的内容,不进行证明:
一个简单但不严谨的证明:
六、求高斯分布的联合概率分布
- 概述