一、概述

1. 介绍

动态模型可以类比高斯混合模型这种静态模型，高斯混合模型的特点是“混合”，动态模型的特点是在“混合”的基础上加入了“时间”。动态模型包括多种模型：

隐马尔可夫模型是动态模型的一种，它的状态空间是离散的，而另外两种动态模型的状态空间是连续的。

2. 模型

隐马尔可夫模型的概率图模型如下：

                                             概率图模型

3. 两个假设

• 齐次马尔可夫假设

任意时刻的状态只依赖于前一时刻的状态，即：

• 观测独立假设

任意时刻的观测只依赖于当前时刻的状态，即：

4. 三个问题

• Evaluation

二、Evaluation问题

                                             隐马尔可夫模型

1. 前向算法

首先我们有：

下面记：

2. 后向算法

上式中红色的一步变换利用了概率图模型中有向图head to tail结构的性质：

                   head to tail

这种结构满足：

三、Learning问题

Learning问题的目标是求解参数 ，使用的是Baum Welch算法（也就是EM算法）。

EM算法的迭代公式如下：

四、Decoding问题

因此：

五、总结

HMM 是⼀种动态模型（Dynamic Model），是由混合树形模型和时序结合起来的⼀种模型（类似 GMM + Time）。对于类似 HMM 的这种状态空间模型（State Space Model），普遍的除了学习任务（采⽤ EM ）外，还有推断任务。

1. Filtering问题

因此使用Forward Algorithm来解决Filtering问题。

Filtering问题通常出现在online learning中，当新进入一个数据，可以计算概率 。

2. Smoothing问题

其中：

3. Prediction问题