隐马尔科夫模型HMM

简介: 本文介绍常见的机器学习模型隐马尔科夫模型HMM。HMM也是generative model。我是因为看到一篇论文需要用HMM来优化,所以速成。日后如有新的理解将会持续更新,可以收藏关注本文以待。

1. 概念


隐马尔科夫模型 Hidden Markov models (HMMs) 中,变量variables可以在状态states之间转换,各种转换的概率不同。每个状态都能以某一概率产生输出output之一。状态和输出的集合已知,输出已知,状态转换概率和输出概率等信息位置(隐)。

c517b8d0b0f844e58494cfaca1bce5af.png


需要解决的问题:

  1. 推理:根据输出序列计算candidate state-switch sequences的概率
  2. 模式匹配:根据输出序列计算最可能是的state-switch sequence(Viterbi算法:信号处理领域)
  3. 训练:给出输出序列(训练)数据,计算最可能出现的state-switch/output probabilities (ie, system internals)


模式匹配和训练任务事实上就是Naive Bayesian推理1延伸到了序列数据上。


假设:

  1. 状态转换的概率取决于前N个状态。最简单的N=1就是‘first-order’ case,仅基于当前状态决定
  2. 生成输出结果的概率仅取决于当前概率。


给定state-switch sequence和对应的observed-output sequence,可以直接用每个概率通过乘法计算出整体的概率。


2. 用法


  1. 语音识别:waveform是输出序列,匹配音素(状态)序列
相关文章
|
机器学习/深度学习 算法 自然语言处理
隐马尔科夫模型HMM(一)HMM模型
隐马尔科夫模型(Hidden Markov Model,以下简称HMM)是比较经典的机器学习模型了,它在语言识别,自然语言处理,模式识别等领域得到广泛的应用。当然,随着目前深度学习的崛起,尤其是RNN,LSTM等神经网络序列模型的火热,HMM的地位有所下降。
3912 0
|
算法 机器学习/深度学习 Python
隐马尔科夫模型
隐马模型还是看李航的《统计学习方法》,写的很明了。 以下内容来自邹博的ppt: ...
858 0
|
自然语言处理 算法 定位技术
HMM(隐马尔可夫模型)
什么是熵(Entropy) 简单来说,熵是表示物质系统状态的一种度量,用它老表征系统的无序程度。熵越大,系统越无序,意味着系统结构和运动的不确定和无规则;反之,,熵越小,系统越有序,意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化,组织化,复杂化状态的一种度量。 熵最早来原于物理学. 德国物理学家鲁道夫·克劳修斯首次提出熵的概念,用来表示任何一种能
1983 0
HMM 隐马尔可夫模型
准备 随机过程是一连串随机事件动态关系的定量描述。 马尔可夫过程,Markov process,是随机过程的一种。液体中微粒所作的布朗运动就是一个马尔可夫过程。 马尔可夫链,Markov chain,是具有马尔可夫性质的随机变量的一个数列,如 (X1,X2,X3,...)(X_1,X_2,X_3,...)(1-1) Xn+1X_{n+1}表示在时间n+1时的状态,它仅依赖于
1976 0
|
7月前
|
自然语言处理 算法 语音技术
隐马尔可夫模型(HMM)
隐马尔可夫模型(HMM)
126 0
|
自然语言处理 算法 语音技术
HMM(隐马尔可夫)
HMM(隐马尔可夫)
|
算法 Python 人工智能
隐马尔科夫-维特比算法
概念介绍:   继上篇贝叶斯(http://www.cnblogs.com/zhiranok/archive/2012/09/22/native_bayes.html)后,一直想完成隐马尔科夫这篇,一是一直没有时间完成python的示例实现代码,二是想找一个区别于天气的隐马尔科夫例子。
967 0

热门文章

最新文章