HMM,MEMM,CRF模型的比较(转)

简介: CRF,HMM(隐马模型),MEMM(最大熵隐马模型)都常用来做序列标注; HMM一个最大的缺点就是由于其输出独立性假设,导致其不能考虑上下文的特征,限制了特征的选择,而MEMM模型则解决了这一问题,可以任意的选择特征,但由于其在每一节点都要进行归一化,所以只能找到局部的最优值,同时也带来了标记偏见的问题(label bias),即凡是训练语料中未出现的情况全都忽略掉;而CR

CRF,HMM(隐马模型),MEMM(最大熵隐马模型)都常用来做序列标注;

HMM一个最大的缺点就是由于其输出独立性假设,导致其不能考虑上下文的特征,限制了特征的选择,而MEMM模型则解决了这一问题,可以任意的选择特征,但由于其在每一节点都要进行归一化,所以只能找到局部的最优值,同时也带来了标记偏见的问题(label bias),即凡是训练语料中未出现的情况全都忽略掉;而CRF则很好的解决了这一问题,他并不在每一个节点进行归一化,而是所有特征进行全局归一化,因此可以求得全局的最优值。

其各自有自身的特点:

HMM模型是对转移概率和表现概率直接建模,统计共现概率。

MEMM模型是对转移概率和表现概率建立联合概率,统计时统计的是条件概率。MEMM容易陷入局部最优,是因为MEMM只在局部做归一化;

CRF模型,统计了全局概率,在做归一化时,考虑了数据在全局的分布,而不是仅仅在局部归一化,这样就解决了MEMM中的标记偏置的问题。

 

举个例子: 对于一个标注任务,“我爱北京天安门“,

                                  标注为" s s  b  e b c e"

1) 对于HMM的话,其判断这个标注成立的概率为 P= P(s转移到s)*P('我'表现为s)* P(s转移到b)*P('爱'表现为s)* ...*P().训练时,要统计状态转移概率矩阵和表现矩阵。

2) 对于MEMM的话,其判断这个标注成立的概率为 P= P(s转移到s|'我'表现为s)*P('我'表现为s)* P(s转移到b|'爱'表现为s)*P('爱'表现为s)*..训练时,要统计条件状态转移概率矩阵和表现矩阵。

3) 对于CRF的话,其判断这个标注成立的概率为 P= F(s转移到s,'我'表现为s)....F为一个函数,是在全局范围统计归一化的概率而不是像MEMM在局部统计归一化的概率。


目录
相关文章
|
机器学习/深度学习 PyTorch 算法框架/工具
为什么大型语言模型都在使用 SwiGLU 作为激活函数?
SwiGLU可以说是在大语言模型中最常用到的激活函数,我们本篇文章就来对他进行详细的介绍。
2628 9
|
10月前
|
机器学习/深度学习 人工智能 算法
大模型微调新篇章:从“学会知识”到“理解偏好”,PPO算法全解析与实践指南
本文深入解析大模型对齐人类偏好的核心技术——近端策略优化(PPO)。从原理到实践,详解PPO如何通过Actor、Reference、Reward与Critic四模型协作,结合强化学习实现更自然、安全、有用的对话。涵盖训练流程、常见问题、评估方法及进阶技巧,并以LLaMA-Factory为例演示操作,助力开发者快速上手,打造更“懂你”的AI助手。
1303 3
|
9月前
|
机器学习/深度学习 数据采集 人工智能
大模型强化学习全解:从PPO、DPO到DeepSeek的GRPO,一文搞懂强化对齐的奥秘
本文用生活化比喻详解大模型强化学习三大主流方法:PPO(精准但昂贵的“私教班”)、DPO(依赖高质量数据的“改错本”)、GRPO(DeepSeek创新的“小组竞赛制”)。零公式、重逻辑,帮你理解RL如何让模型从“会说”进阶为“说好”。
|
11月前
|
人工智能 自然语言处理 安全
AI 十大论文精讲(六):拆解 LLM 智能体的 “通用密码”
本文解读复旦NLP团队2023年重磅综述《The Rise and Potential of Large Language Model Based Agents》,系统剖析LLM智能体“大脑-感知-行动”三大核心模块,涵盖单智能体、多智能体、人机协作与智能体社群四大应用场景,提炼工具SKMA体系、安全护栏、结果检查三大落地要点,并提出AGI路径、虚拟到物理迁移等开放问题,为构建通用智能体提供统一范式,被誉为该领域“入门圣经”。
1431 4
|
4月前
|
人工智能 分布式计算 Serverless
EMR Serverless Daft 如何简化多模态数据处理:视频抽帧、清洗、标注全流程与具身智能实践
阿里云 EMR Serverless Spark 引入 Ray 分布式计算框架与 Daft 高性能数据引擎,为用户提供了一套开箱即用、免运维且极致高效的多模态数据处理基础设施。
|
10月前
|
机器学习/深度学习 移动开发 人工智能
大模型应用:庖丁解牛:QKV机制详解,大模型的注意力之眼.4
QKV机制是Transformer注意力的核心:Query(提问)、Key(标识)、Value(信息)三者通过点积计算相似度,Softmax归一化后加权融合Value,实现动态上下文感知。它能捕捉长程依赖,解决代词消解、一词多义等问题,支撑大模型强大语言理解能力。
2461 7
|
5月前
|
数据可视化 数据挖掘 数据建模
百雀羚 x Quick BI:助力百雀羚双11会员下单金额同比增长15%,老客非会入会率提升168%
百雀羚携手阿里云瓴羊,通过重代码实现老客与会员精细化分层运营,精准识别入会与提质双战线。双11期间会员销售占比创历史新高,老客非会入会率提升168%,沉默人群活跃度提升66%。
|
5月前
|
人工智能
OPC中国和智能体来了是什么关系?
OPC中国是智能体来了旗下的开源人才生态平台,专注OPC一人公司与OPD一人部门的培育孵化;智能体来了则是AI智能体职业培训的能力底座。二者一体两面:前者重生态连接与场景落地,后者强专业训练与能力输出,共同构建“教—训—育—孵”闭环。
OPC中国和智能体来了是什么关系?
|
5月前
|
人工智能 数据挖掘 Serverless
花一周搭 AI Agent 没跑通,同事 3 分钟上线了——我把他的方案扒了个底朝天
本文实操拆解阿里云AgentRun+百炼一站式搭建AI Agent方案:3分钟创建、10分钟接入、当天上线。告别GPU租赁、框架选型、K8s运维、数据库搭建等自建痛点,Serverless全托管计算、弹性伸缩、NAS持久化、开箱即用工具链,月成本仅一杯咖啡钱。