HMM,MEMM,CRF模型的比较(转)

简介: CRF,HMM(隐马模型),MEMM(最大熵隐马模型)都常用来做序列标注; HMM一个最大的缺点就是由于其输出独立性假设,导致其不能考虑上下文的特征,限制了特征的选择,而MEMM模型则解决了这一问题,可以任意的选择特征,但由于其在每一节点都要进行归一化,所以只能找到局部的最优值,同时也带来了标记偏见的问题(label bias),即凡是训练语料中未出现的情况全都忽略掉;而CR

CRFHMM(隐马模型)MEMM(最大熵隐马模型)都常用来做序列标注;

HMM一个最大的缺点就是由于其输出独立性假设,导致其不能考虑上下文的特征,限制了特征的选择,而MEMM模型则解决了这一问题,可以任意的选择特征,但由于其在每一节点都要进行归一化,所以只能找到局部的最优值同时也带来了标记偏见的问题(label bias),即凡是训练语料中未出现的情况全都忽略掉;而CRF则很好的解决了这一问题,他并不在每一个节点进行归一化,而是所有特征进行全局归一化,因此可以求得全局的最优值。

其各自有自身的特点:

HMM模型是对转移概率和表现概率直接建模,统计共现概率。

MEMM模型是对转移概率和表现概率建立联合概率,统计时统计的是条件概率。MEMM容易陷入局部最优,是因为MEMM只在局部做归一化;

CRF模型,统计了全局概率,在做归一化时,考虑了数据在全局的分布,而不是仅仅在局部归一化,这样就解决了MEMM中的标记偏置的问题。

 

举个例子: 对于一个标注任务,我爱北京天安门

                                  标注为" s s  b  e b c e"

1) 对于HMM的话,其判断这个标注成立的概率为 P= P(s转移到s)*P(''表现为s)* P(s转移到b)*P(''表现为s)* ...*P().训练时,要统计状态转移概率矩阵和表现矩阵

2) 对于MEMM的话,其判断这个标注成立的概率为 P= P(s转移到s|''表现为s)*P(''表现为s)* P(s转移到b|''表现为s)*P(''表现为s)*..训练时,要统计条件状态转移概率矩阵和表现矩阵

3) 对于CRF的话,其判断这个标注成立的概率为 P= F(s转移到s,''表现为s)....F为一个函数,是在全局范围统计归一化的概率而不是像MEMM在局部统计归一化的概率。


目录
相关文章
|
7月前
|
人工智能 JavaScript API
开发者必备:阿里云百炼 API 调用图文教程
百炼是阿里云推出的大模型服务平台,集成了很多优质的 AI 模型,包括通义千问、DeepSeek 等。
开发者必备:阿里云百炼 API 调用图文教程
|
12月前
|
监控 关系型数据库 MySQL
Flink CDC MySQL同步MySQL错误记录
在使用Flink CDC同步MySQL数据时,常见的错误包括连接错误、权限错误、表结构变化、数据类型不匹配、主键冲突和
469 17
|
Linux Python
用python扫描linux开放的端口(3种方式)
这篇文章介绍了三种使用Python实现Linux端口扫描的方法,包括基础版端口扫描、全端口扫描和多线程扫描技术。
472 16
|
传感器 监控 搜索推荐
智能纺织品:可穿戴科技的新潮流
【9月更文挑战第22天】智能纺织品作为可穿戴科技的新潮流,正以其独特的魅力和卓越的性能,引领着纺织行业的创新发展。随着技术的不断进步和应用领域的不断拓展,智能纺织品将在更多领域得到应用和推广,为人们的生活带来更多便利与可能性。我们有理由相信,在不久的将来,智能纺织品将成为人们生活中不可或缺的一部分,共同推动社会的可持续发展与繁荣。
|
网络安全
ssh: Could not resolve hostname centos02: Temporary failure in name resolution
ssh: Could not resolve hostname centos02: Temporary failure in name resolution
1254 0
|
机器学习/深度学习 数据采集 人工智能
一文看尽LLM对齐技术:RLHF、RLAIF、PPO、DPO……
【8月更文挑战第27天】本文全面回顾了近期大型语言模型(LLMs)领域内提升模型与人类价值观一致性的重要进展与挑战。尽管自监督学习及大规模预训练等技术推动了LLMs的快速发展,但如何避免生成不当内容仍是难题。文中系统地将现有研究分为奖励模型、反馈机制、强化学习策略及优化方法四大主题,并深入探讨各技术路径的创新点与局限性,如RLHF、RLAIF等方法。旨在为读者提供清晰的领域概览,促进未来研究发展。[论文链接](https://arxiv.org/pdf/2407.16216)
704 3
|
消息中间件 SQL 大数据
Hologres 在大数据实时处理中的应用
【9月更文第1天】随着大数据技术的发展,实时数据处理成为企业获取竞争优势的关键。传统的批处理框架虽然在处理大量历史数据时表现出色,但在应对实时数据流时却显得力不从心。阿里云的 Hologres 是一款全托管、实时的交互式分析服务,它不仅支持 SQL 查询,还能够与 Kafka、MaxCompute 等多种数据源无缝对接,非常适合于实时数据处理和分析。
405 2
|
SQL Oracle 关系型数据库
SQL SELECT TOP 详解
SQL SELECT TOP 详解
|
运维 Kubernetes 关系型数据库
云计算运维工程师面试技巧
【8月更文挑战第6天】
1228 1
|
数据采集 人工智能 数据可视化
云上数据可视化:解锁数据价值,洞见未来趋势
五、未来展望 随着技术的不断进步和应用场景的不断拓展,云上数据可视化将迎来更加广阔的发展前景。未来,云上数据可视化将更加注重数据的实时性、交互性和智能化。同时,随着人工智能、大数据等技术的深度融合,云上数据可视化将更加
666 7