阅读CHOLAN论文总结

简介: CHOLAN是一种模块化的实体链接方法,由两个transformer-based模型,按顺序集成的pipeline模型。第一个transformer模型:得到文本中的entity mention。第二个transformer模型:处理第一个得到的mention,获取其上下文和实体描述,对mention进行分类,放到对应实体的候选列表。

介绍(introduction):
实体链接任务:
给定一个句子,首先识别出句子中的实体,然后链接到知识库或知识图谱中最准确的实体。
举例说明实体链接的步骤:
Late Goals Give Japan win Over Syria.
Mention detection(MD):识别句子中的mention如: Japan和Syria。
Candidate generation(CG):对每个mention找到数据库中可能的实体列表。

 0(ED):利用mention和列表中的关系(coreference)和上下文特征(contextual features)来选出列表中最可能的实体。

实体链接的方法:
基于pipeline模型,将MD和ED作为独立的步骤进行实体链接。
缺点:误差传递,将MD的误差传到ED中会降低系统的整体性能
为解决第一种方法的误差,将MD和ED联合建模。
缺点:依赖于预先得到的实体的候选列表
将三个步骤联合建模,彼此依赖
目前存在的问题:
作者发现实体链接在处理的过程中广泛用到了transformer模型,但其性能低于基于LSTM模型的实体链接。
作者认为,候选生成(CG)阶段是影响实体链接性能的重要原因之一,该论文对此进行了探索。
然后基于存在的问题,提出一个新的方法:CHOLAN
第一步CHOLAN使用bert模型将输入的句子中的mention识别出来
第二步使用知识库内容扩展得到mention候选列表
最后将mention、其附近上下文文本、候选列表、数据库中的实体描述 输入到第二个bert模型。
注*:训练期间独立的训练MD和ED,测试期间,端到端的运行CHOLAN。
相关工作(related work):
Mention Detection :可以看成命名实体识别(named entity recognition,NER)任务,方法包括:CRFs、特征字典构建、基于特征推理的神经网络、上下文编码等等
Candidate Generation :主要有四种方法:

将MD阶段识别的mention与预先得到的候选列表直接匹配
通过字典查找(从几个不同的知识库中找到实体不同的名称进行建表)
使用经验概率实体图P(e|m)获得候选列表

P(e|m) 是mention和entity之间预先计算的先验概率
经验概率实体图由Ganea and Hofmann, 2017提出。

通过使用Wikidata 的实体标签、关联别名等数据扩展构建局部知识图谱

End to End EL :

Nguyen et al., 2016提出使用图模型联合MD和ED
Kolitsas et al., 2018提出了MD和ED联合模型,并使用了基于bi-LSTM模型进行MD,计算了提及嵌入(the entity mention embedding)和预定义的实体候选(set of predefined entity candidates)的相似度
Broscheit, 2019使用bert模型对三个子任务(MD、CG、ED)联合建模并训练
Févry et al., 2020使用了transformer模型实现了三个子任务;基于启发式模型进行消歧;对于MD、ED 训练神经网络,并使用别名生成实体
Mulang et al., 2020与CHOLAN类似,为MD和ED单独训练了两个神经模型,但是候选生成阶段仅使用了数据库中的实体映射生成候选列表,并没有像作者一样使用上下文特征。
相关文章
|
6月前
|
机器学习/深度学习 人工智能 搜索推荐
11月推荐阅读的12篇大语言模型相关论文
现在已经是12月了,距离2024年只有一个月了,本文总结了11月的一些比较不错的大语言模型相关论文
193 0
|
机器学习/深度学习 人工智能 测试技术
三篇论文:速览GPT在网络安全最新论文中的应用案例
三篇论文:速览GPT在网络安全最新论文中的应用案例
184 0
如何利用ChatPDF快速阅读英文论文,帮你写文章
如何利用ChatPDF快速阅读英文论文,帮你写文章
164 0
|
C++
SCI论文写作训练营笔记汇总05_英文论文投稿流程与常见问题(完)
图注是不能和图片一起上传的, 一般在投稿系统中, “figure legend” 是放在文章正文“manuscript” 的最后一页统一上传的,而图片则是一张一张单独上传的。所以图注是与正文部分一起提交的, 而图片是单独提交的。
843 0
SCI论文写作训练营笔记汇总03_科技论文写作(方法篇)
讨论部分的内容有时需要附属一下前面讨论的结果, 以精简的语言提一下即可, 后面需要有加深性的内容, 如果没有加深性的内容, 那么这篇文章里最好不要出现讨论的内容, 结果和讨论可以放在一起。结论要重点复述结果部分的内容, 讨论里的一些内容不写在结论里也是可以的。
250 0
|
机器学习/深度学习 编解码 计算机视觉
StackGAN 论文阅读笔记(三)
StackGAN 论文阅读笔记(三)
102 0
StackGAN 论文阅读笔记(三)
|
机器学习/深度学习 编解码 算法
DGP 论文阅读笔记
DGP 论文阅读笔记
242 0
DGP 论文阅读笔记
|
机器学习/深度学习 编解码 自然语言处理
StackGAN 论文阅读笔记(二)
StackGAN 论文阅读笔记(二)
82 0
StackGAN 论文阅读笔记(二)
|
机器学习/深度学习 编解码 自然语言处理
StackGAN 论文阅读笔记(一)
StackGAN 论文阅读笔记(一)
96 0
StackGAN 论文阅读笔记(一)
|
机器学习/深度学习 编解码 监控
BigGAN-论文阅读笔记
BigGAN-论文阅读笔记
227 0
BigGAN-论文阅读笔记