Cross-Task Instance Representation Interactions and Label Dependencies for Joint Information Extraction with Graph Convolutional Networks
论文：Cross-Task Instance Representation Interactions and Label Dependencies for Joint Information Extraction with Graph Convolutional Networks (aclanthology.org)
代码：未找到开源代码
会议/期刊：NAACL2021
摘要
现有的信息抽取(IE)工作主要是分别解决四个主要任务(实体提及识别、关系抽取、事件触发词检测和论元抽取)，无法从任务之间的相互依赖中获益。本文提出了一种新的深度学习模型，在一个模型中同时解决IE的四个任务(称为FourIE)。与之前联合执行四个IE任务的工作相比，FourIE有两个新颖的贡献来捕获任务之间的相互依赖关系。首先，在表示层，我们引入了四个任务实例之间的交互图，用于用其他任务的相关实例来丰富一个实例的预测表示。其次，在标签级别，我们为四个IE任务中的信息类型提出了一个依赖关系图，该图捕捉了输入句子中表达的类型之间的联系。引入了一种新的正则化机制来加强正确类型依赖图和预测类型依赖图之间的一致性，以提高表示学习。我们表明，所提出的模型在三种不同语言的单语和多语学习环境下都达到了联合IE的最先进性能。
1、简介
信息提取(IE)是自然语言处理(NLP)中一项重要且具有挑战性的任务，旨在从非结构化文本中提取结构化信息。遵循流行的ACE 2005程序中的IE术语，我们在这项工作中重点关注四个主要的IE任务:实体提及抽取(EME)、关系抽取(RE)、事件触发词检测(ETD)和事件论元抽取(EAE)。
给定一个输入句子，绝大多数先前的工作已经在实例级和任务级独立地解决了IE中的四个任务(称为独立的预测模型)。首先，在实例级，每个IE任务通常需要在单个输入语句中对多个实例进行预测/分类。例如，在RE关系抽取中，人们经常需要为句子中提到的每一对实体(称为关系实例)预测关系，而句子中的多个词跨度可以被视为多个实例，其中事件类型预测必须在ETD(触发词实例)中进行。因此，大多数IE之前的工作都是通过将每个实例作为数据集中的一个示例来分别对句子中的实例进行预测。其次，在任务层面，IE的先前工作倾向于以流水线方式执行四个任务，其中一个任务的输出被用作其他任务的输入(例如，EAE之后是EME和ETD) 。
尽管独立预测模型很受欢迎，但其主要问题是它们在任务之间存在错误传播，并且无法利用输入语句中的跨任务和跨实例相互依赖来提高IE任务的性能。例如，这样的系统无法从依赖中受益，而死亡(Die)事件的受害者(Victim)有很高的机会受益,也要在同一句话中成为攻击(Attack)事件的受害者(Victim)(即，类型或标签依赖关系)。为了解决这些问题，一些先前的工作已经探索了联合推理模型，其中IE的多个任务同时对一个句子中的所有任务实例执行，使用基于特征的模型和最近的深度学习模型。然而，这些先前的工作大多考虑了四个IE任务子集的联合模型(例如，EME+RE或ETD+EAE)，因此仍然存在错误传播问题(缺少任务)，未能充分利用四个任务之间潜在的相互依赖关系。为此，本工作旨在设计一个单一模型，同时解决每个输入句子的四个IE任务(联合四任务IE)，以解决之前联合IE工作的上述问题。
最近的研究很少考虑联合四任务IE，使用深度学习为任务产生最先进的(SOTA)性能。然而，目前仍有两个问题阻碍着此类模型的进一步完善。首先，在实例级，联合IE深度学习模型的一个重要组成部分涉及用于在输入语句中执行IE相应预测任务的实例的表示向量(称为预测实例表示)。对于联合四任务IE，我们认为四个任务相关实例的预测表示向量之间存在相互依赖关系，应该对其建模以提高IE的性能。例如，实体提及的预测表示向量中编码的实体类型信息可以约束相关EAE实例的表示向量(例如，涉及同一实体提及和同一句子中的某些事件触发词)应该捕获的论元角色，反之亦然。因此，之前关于联合四任务IE的工作仅使用来自某些深度学习层的共享隐藏向量独立计算任务实例的预测表示向量。虽然这种共享机制在一定程度上有助于捕捉预测表示向量之间的相互作用，但它不能显式地表示不同任务的相关实例之间的连接，并将其编码到表示学习过程中。因此，为了克服这个问题，我们提出了一种新型的联合四任务IE深度学习模型(称为F ourIE)，它创建了一个图结构来显式地捕获句子中四个IE任务的相关实例之间的交互。然后，该图将被图卷积网络(GCN)使用，用IE的相关(相邻)实例来强化实例的表示向量。
其次，在任务层面，现有的IE联合四任务模型仅利用解码步骤中的跨任务类型依赖关系来约束对输入句子的预测(通过手动将输入句子的类型依赖关系图转换为全局特征向量，以便在基于beam search的解码中对预测进行评分)(Lin et al, 2020)。因此，来自跨任务类型依赖关系的知识不能用于IE模型的训练过程。这是不幸的，因为我们期望将这些知识更深入地集成到训练过程中，可以提供有用的信息，以增强IE任务的表示学习。为此，我们建议使用来自跨任务类型依赖关系的知识，为每句话获取额外的训练信号，以直接监督我们的联合四任务IE模型。特别是，我们的动机是，在一个句子中为四个IE任务表达的类型可以被组织成类型之间的依赖关系图(句子的全局类型依赖关系)。因此，为了使联合模型表现良好，它对句子的预测所生成的类型依赖图应该与从正确类型中获得的依赖图相似(即，在训练步骤中对预测的全局类型约束)。因此，**我们在联合模型的训练损失中引入了一个新的正则化项来编码这个约束，使用另一个GCN来学习预测图和正确依赖图的表示向量，以促进图的相似度提升。**据我们所知，这是第一个使用全局类型依赖来正则化IE的联合模型的工作。
最后，我们的大量实验证明了所提出的模型在三种不同语言(如英语、中文和西班牙语)的基准数据集上的有效性，从而在不同的设置下获得了最先进的性能。
2、问题描述和背景
问题描述：本文的联合IE的四任务问题以一句话作为输入，目的是用统一的模型联合求解四个任务EAE、ETD、RE和EAE。因此，EME的目标是根据一组预定义的(语义)实体类型(例如，Person)检测和分类实体提及(名称(names)、名词(nominals)、代词(pronouns))。类似地，ETD试图识别和分类事件触发词(动词(verbs)或规范化(normalization))，这些事件触发词清楚地在一些预定义的事件类型集(例如，攻击(Attack))中唤起事件。注意，事件触发词可能涉及多个单词。对于RE，它关注的是预测句子中提及的两个实体之间的语义关系。在这里，感兴趣的关系集也是预定义的，它包括一个特殊类型None，表示无关系。最后，在EAE中，给定一个事件触发词，系统需要预测每个实体在相应事件中所扮演的角色(也是在一个具有特殊类型None的预定义集合中)。因此，实体提及在本文中也称为事件论元候选。图1给出了一个句子示例，其中说明了每个IE任务的预期输出。
3、模型
给定一个句子w = [ w 1 , w 2 , . . . , w n ] 有n 个字，我们的联合四任务IE模型在句子w 上涉及三个主要部分:(i)跨度检测(Span Detection)，(ii)实例交互(Instance Interaction)，(iii)基于类型依赖的正则化(Type Dependency-base Regularization)。
3.1 跨度检测
这一部分的目的是识别w ww中实体提及和事件触发词片段，这些将用于不同实例之间的交互图中的节点形式的四个任务。这样，我们制定片段检测问题作为序列标注问题，每个单词w i 在w 用两种BIO标记来捕获的跨度信息实体提及和事件触发词的w。注意,我们没有预测实体类型和事件类型在这个步骤中,导致单词标签只有三个可能的值(即B, I和O)。
3.2 实例交互
3.3 基于类型依赖的正则化
4、实验
数据集：ACE2005、ERE-EN、ERE-ES
超参数和评估标准。我们使用开发数据对模型的超参数进行微调。建议的数值见附录。为了实现与Lin等人的公平比较，我们对英语数据集采用bert-large-cased模型，对中文和西班牙语数据集采用bert-multilanguage-cased模型。最后，我们遵循与之前工作中相同的实体提及、事件触发词、关系和论元的评估脚本和正确性标准。报告的结果是使用不同随机种子的5个模型运行的平均性能。
效果比较。对比模型：DyGIE++、OneIE。表2展示了各个模型在英文数据集上的效果。注意，在表中，前缀“Ent”、“Trg”、“Rel”和“Arg”分别代表实体提及、事件触发词、关系和论元的提取任务，后缀“-I”和“-C”分别对应识别性能(仅涉及偏移量正确性)和识别+分类性能(同时评估偏移量和类型)。
从表中可以看出，在不同的数据集和任务中，FourIE始终优于两个基线模型(DyGIE++和OneIE)。在几乎所有的情况下，性能的改善都是显著的，并清楚地证明了所提出的模型的有效性。
最后，表3展示了FourIE和OneIE在中文和法语数据集(ACE05-CN，ERE-ES)上的效果。除了单语言设置(即在同一语言上训练和评估)之外，我们还在多语言训练设置上评估模型，其中ACE05-CN和ERE-ES(分别)与其对应的英语数据集ACE05-E+和EAE-EN(分别)结合起来训练模型(用于四个IE任务)，然后在相应语言的测试集(即ACE05-CN和ERE-ES)上评估性能。从表中可以清楚地看出，在几乎所有针对语言、数据集和任务的不同设置组合中，FourIE的表现也明显优于OneIE。这进一步说明了FourIE对不同语言的可移植性。
该表清楚地显示了不同类别的类型依赖边对于FourIE的重要性，因为消除任何类别通常都会损害模型的性能。此外，我们看到类型依赖边的贡献级别直观地根据考虑的任务而变化。例如，entity_relation类型边主要用于实体提及、关系和论元抽取。最后，在附录中进行了错误分析，以提供关于类型依赖图G g o l d 和G p r e d 对FourIE的好处的见解(即，通过比较FourIE和“FourIE- GCN t y p e”的输出)。
5、相关工作
IE的早期联合方法采用了特征工程来捕获IE任务之间的依赖关系，包括全局约束的整数线性规划(Integer Linear Programming for Global Constraints)，马尔可夫逻辑网络(Markov logic Networks)，结构化感知器(Structured Perception)和图形模型(Graphical Models)。
近年来，深度学习的应用促进了IE跨任务共享参数机制的联合建模。这些联合模型专注于IE任务的不同子集，包括EME和RE，事件和时间RE，以及ETD和EAE。然而，这些工作都没有像我们一样探索对四个IE任务EME、ETD、RE和EAE的联合推断。与我们最相关的两项工作包括Wadden等人通过动态跨度图利用基于BERT的信息传播，以及Lin等人利用BERT和全局类型依赖特征来约束解码步骤。我们的模型与这些工作的不同之处在于，我们引入了一个新的交互图，用于四个IE任务的实例表示，并引入了一个全局类型依赖图，将知识直接注入到训练过程中。
6、总结
我们提出了一个新的深度学习框架来共同解决四个IE任务(EME, ETD, RE和EAE)。我们的模型试图根据实例交互和类型依赖关系图来捕获四个任务实例及其类型之间的相互依赖关系。利用GCN模型诱导表示向量对任务实例进行类型预测，使训练过程规范化。实验证明了所提模型的有效性，导致在英语、中文和西班牙语的多个数据集上的SOTA性能。在未来，我们计划扩展模型以包括更多的IE任务(例如，共指消解)。
