介绍(introduction):
实体链接任务:
给定一个句子,首先识别出句子中的实体,然后链接到知识库或知识图谱中最准确的实体。
举例说明实体链接的步骤:
Late Goals Give Japan win Over Syria.
Mention detection(MD):识别句子中的mention如: Japan和Syria。
Candidate generation(CG):对每个mention找到数据库中可能的实体列表。
0(ED):利用mention和列表中的关系(coreference)和上下文特征(contextual features)来选出列表中最可能的实体。
实体链接的方法:
基于pipeline模型,将MD和ED作为独立的步骤进行实体链接。
缺点:误差传递,将MD的误差传到ED中会降低系统的整体性能
为解决第一种方法的误差,将MD和ED联合建模。
缺点:依赖于预先得到的实体的候选列表
将三个步骤联合建模,彼此依赖
目前存在的问题:
作者发现实体链接在处理的过程中广泛用到了transformer模型,但其性能低于基于LSTM模型的实体链接。
作者认为,候选生成(CG)阶段是影响实体链接性能的重要原因之一,该论文对此进行了探索。
然后基于存在的问题,提出一个新的方法:CHOLAN
第一步CHOLAN使用bert模型将输入的句子中的mention识别出来
第二步使用知识库内容扩展得到mention候选列表
最后将mention、其附近上下文文本、候选列表、数据库中的实体描述 输入到第二个bert模型。
注*:训练期间独立的训练MD和ED,测试期间,端到端的运行CHOLAN。
相关工作(related work):
Mention Detection :可以看成命名实体识别(named entity recognition,NER)任务,方法包括:CRFs、特征字典构建、基于特征推理的神经网络、上下文编码等等
Candidate Generation :主要有四种方法:
将MD阶段识别的mention与预先得到的候选列表直接匹配
通过字典查找(从几个不同的知识库中找到实体不同的名称进行建表)
使用经验概率实体图P(e|m)获得候选列表
P(e|m) 是mention和entity之间预先计算的先验概率
经验概率实体图由Ganea and Hofmann, 2017提出。
通过使用Wikidata 的实体标签、关联别名等数据扩展构建局部知识图谱
End to End EL :
Nguyen et al., 2016提出使用图模型联合MD和ED
Kolitsas et al., 2018提出了MD和ED联合模型,并使用了基于bi-LSTM模型进行MD,计算了提及嵌入(the entity mention embedding)和预定义的实体候选(set of predefined entity candidates)的相似度
Broscheit, 2019使用bert模型对三个子任务(MD、CG、ED)联合建模并训练
Févry et al., 2020使用了transformer模型实现了三个子任务;基于启发式模型进行消歧;对于MD、ED 训练神经网络,并使用别名生成实体
Mulang et al., 2020与CHOLAN类似,为MD和ED单独训练了两个神经模型,但是候选生成阶段仅使用了数据库中的实体映射生成候选列表,并没有像作者一样使用上下文特征。