卡尔曼滤波|机器学习推导系列(十八)

简介: 卡尔曼滤波|机器学习推导系列(十八)

一、概述


HMM 模型适用于隐变量是离散的值的时候,对于连续隐变量的 HMM,常用卡尔曼滤波(Kalman Filtering)描述线性高斯模型的态变量,使用粒子滤波(Particle Filter)来表述非高斯非线性的态变量。


线性体现在上一时刻和这一时刻的隐变量以及隐变量和观测变量之间,它们的关系可以表示为:

%3W{}[4VFJ~`%RPFPRY@@2X.png


类比HMM中几个参数,我们也可以写出类似初始概率、转移概率或发射概率的形式:


%EL[[H]RPM`@USF4H{`89)Q.png


所有的参数为:


VI@AM)GEHE%KWCMGOI4F5@J.png


二、Filtering问题


在多个inference问题中,卡尔曼滤波更关心Filtering问题,即求边缘概率:


N(O7N}O%8Z]1BRNZRTA@{WV.png


类似HMM的前向算法,我们需要找到一个递推关系:


UNDJR6U5H9HCTIRA(VMS]VQ.png

上式结果中,E45`M(E(RXEZ68V%}GGGM@N.png已知,而另一项可做以下转化:

~E`UJDG`T(5R_TI(S9]5ZIS.png


因此,我们找到了Filtering问题的递推式:


HL$XGMCRB0_ZQ2_[U4IDQ7A.png


因此,我们可以确定求解Filtering问题的步骤如下:


%(HH3[VH6VAD7%E42XJF~X0.png


很明显这是一个online的过程。


三、Filtering问题求解


通过上述转化我们可以确定Filtering问题的计算是通过以下两步迭代计算进行的:

1J)PST~Q0$QRQ@M0$}~@10A.png


我们可以确定的是几个高斯分布经过相乘或者积分运算后仍然是高斯分布,所以我们假设:


(O0NG98(MCCD1W[T]_{25L2.png


代入高斯分布的形式可以得到:


7~_4H]J(_PJZ(D_I9PJFQZ1.png


接下来的求解需要用到高斯分布|机器学习推导系列(二)第六部分内容中我们得到的结论,即已知和I]RLO]X[}~8HRY82][36R$D.png,这里我们直接套用公式即可。

首先,在Prediction过程中:


1[9ND26%2T$UC4INMH82L)4.png

代入计算[5Z8GIQ_FHTCV1(HVNR{SL2.png的公式可得:

7KAS[14{`$CNN)R%8PW]MPS.png


在update过程中:


CC7RN(%]U5]VJ@9{OS{LM`L.png

相关文章
|
机器学习/深度学习
受限玻尔兹曼机|机器学习推导系列(二十五)
受限玻尔兹曼机|机器学习推导系列(二十五)
677 0
受限玻尔兹曼机|机器学习推导系列(二十五)
|
机器学习/深度学习 人工智能 移动开发
【机器学习】线性分类——高斯判别分析GDA(理论+图解+公式推导)
【机器学习】线性分类——高斯判别分析GDA(理论+图解+公式推导)
285 0
【机器学习】线性分类——高斯判别分析GDA(理论+图解+公式推导)
|
机器学习/深度学习 人工智能 算法
【机器学习】线性分类——线性判别分析LDA(理论+图解+公式推导)
【机器学习】线性分类——线性判别分析LDA(理论+图解+公式推导)
186 0
【机器学习】线性分类——线性判别分析LDA(理论+图解+公式推导)
|
机器学习/深度学习 算法 数据挖掘
100天搞定机器学习|day44 k均值聚类数学推导与python实现
100天搞定机器学习|day44 k均值聚类数学推导与python实现
100天搞定机器学习|day44 k均值聚类数学推导与python实现
|
机器学习/深度学习 算法
100天搞定机器学习|day38 反向传播算法推导
100天搞定机器学习|day38 反向传播算法推导
100天搞定机器学习|day38 反向传播算法推导
|
机器学习/深度学习 算法
Sigmoid信念网络|机器学习推导系列(二十八)
Sigmoid信念网络|机器学习推导系列(二十八)
217 0
Sigmoid信念网络|机器学习推导系列(二十八)
|
机器学习/深度学习 算法
近似推断|机器学习推导系列(二十七)
近似推断|机器学习推导系列(二十七)
120 0
近似推断|机器学习推导系列(二十七)
|
机器学习/深度学习 算法
配分函数|机器学习推导系列(二十六)
配分函数|机器学习推导系列(二十六)
229 0
配分函数|机器学习推导系列(二十六)
|
机器学习/深度学习
高斯过程回归|机器学习推导系列(二十四)
高斯过程回归|机器学习推导系列(二十四)
459 0
高斯过程回归|机器学习推导系列(二十四)
|
机器学习/深度学习
贝叶斯线性回归|机器学习推导系列(二十三)
贝叶斯线性回归|机器学习推导系列(二十三)
279 0
贝叶斯线性回归|机器学习推导系列(二十三)