【论文原文】：Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding
【作者信息】：Wang, Sijia and Yu, Mo and Chang, Shiyu and Sun, Lichao and Huang, Lifu
论文：https://arxiv.53yu.com/pdf/2110.07476.pdf 代码：https://github.com/VT-NLP/Event_Query_Extract
博主关键词：事件抽取，二元解码
推荐论文：无
摘要
事件抽取通常被建模为一个多分类问题，其中事件类型和论元角色被视为原子符号。这些方法通常仅限于一组预定义的类型。我们提出了一种新颖的事件抽取框架，该框架使用事件类型和论元角色作为自然语言查询，从输入文本中抽取候选触发词和论元。通过查询中的丰富语义，我们的框架受益于注意力机制，可以更好地捕获事件类型或论元角色与输入文本之间的语义相关性。此外，查询-抽取公式(query-and-extract formulation)允许我们的方法利用来自各种本体的所有可用事件标注作为统一模型。在ACE和ERE上的实验表明，我们的方法在每个数据集上都达到了最先进的性能，并且在零样本事件抽取上显著优于现有方法。
1、简介
事件抽取(Grishman, 1997; Chinchor and Marsh, 1998; Ahn, 2006)是一项从自然语言文本中识别和分类事件触发词和参与者的任务。如图1所示，married和left分别是Marry和Transport事件类型的两个事件提到的触发词。left事件提到了两个论元:she is an Artifact, and Irap is the Destination.
传统研究通常将事件抽取建模为多类分类问题(McClosky et al, 2011; Li et al, 2013; Chen et al, 2015; Yang and Mitchell, 2016; Nguyen et al, 2016; Lin et al, 2020)，其中首先定义了一组事件类型，然后有监督的机器学习方法将检测并将每个候选事件提到或论元分类为其中一个目标类型。但是，在这些方法中，每个事件类型或论元角色都被视为原子符号，忽略了它们丰富的语义。一些研究通过利用事件类型结构(Huang et al, 2018)，种子事件提及(Bronstein et al, 2015; Lai and Nguyen, 2019)，或问题回答(QA)(Du and Cardie, 2020; Liu et al, 2020)。然而，这些方法仍然是为单个目标事件本体设计的，因此仅限于单个目标事件本体，例如ACE (Consortium, 2005)或ERE (Song et al, 2015)。
随着多个本体的存在和处理新出现的事件类型的挑战，有必要研究可泛化的事件抽取方法，并且可以使用来自不同事件本体的所有可用训练数据。
为此，我们提出了一个遵循查询-抽取范式的新的事件抽取框架。我们的框架将事件类型和论元角色表示为具有丰富语义的自然语言查询。然后，通过利用我们提出的注意力机制来捕获它们与输入文本的交互，查询用于抽取相应的事件触发词和论元。具体来说，(1)对于触发词检测，我们根据每个事件类型的类型名和原型触发词的简短列表将每个事件类型化为一个查询，并根据每个token的查询感知嵌入对其进行二元解码(binary decoding)。(2)对于论元抽取，我们将每个事件类型下定义的所有论元角色放在一起作为一个查询，然后采用多路注意力机制对每个事件提及的所有论元进行一次性编码(one-time encoding)，每个论元预测为二元解码(binary decoding)。
与之前的研究相比，我们的方法可以自然地将各种本体作为统一模型处理(Nguyen and Grishman, 2016; Wadden et al, 2019; Lin et al, 2020)，我们的二元解码机制直接适用于表示为自然语言查询的任何事件类型或论元角色，从而有效地利用跨本体事件标注并进行零样本预测。此外，与基于QA的方法相比(Du and Cardie, 2020; Liu et al, 2020; Li et al, 2020a)也可以进行零样本论元抽取，我们的方法不需要为论元角色单独创建高质量的问题，也不需要为不同的论元角色单独创建多次编码，因此更加准确和高效。
我们在两个公共基准数据集ACE和ERE上评估了我们的方法，并在标准监督事件抽取和具有挑战性的迁移学习设置中展示了最先进的性能，这些设置可以推广到新的事件类型和本体。值得注意的是，在零样本迁移到新事件类型时，我们的方法在触发词检测方面优于强基线16%，在论元检测方面优于强基线26%。我们工作的总体贡献是:
- 我们将事件抽取细化为查询和抽取范式，这比以前的自顶向下分类或基于QA的方法更一般化和高效。
- 我们设计了一个新的事件抽取模型，利用事件类型和论元角色的丰富语义，提高了准确性和泛化性。
- 我们在有监督和零样本事件抽取方面建立了ACE和ERE的最新性能，并演示了我们的框架作为跨本体迁移的有效统一模型。
2、方法
如图2所示，给定一个输入句子，我们首先通过将其作为对句子的查询来确定每个事件类型的候选触发词。每个事件类型(如Attack)都用自然语言文本表示，包括其类型名称和原型触发词的短列表，如入侵(invaded)和空袭(airstrikes)，这些触发词是从训练示例中选择的。然后，我们将输入句子与事件类型查询连接起来，用预训练好的BERT编码器对它们进行编码(Devlin et al, 2019)，计算每个输入token在事件类型查询的顺序表示上的注意力分布，最后将每个token分类为一个二元标签，表明它是否是特定事件类型的候选触发词。
为了抽取每个候选触发词的论元，我们遵循类似的策略，并将其对应事件类型的预定义论元角色集作为对输入句子的查询。我们使用另一个BERT编码器来学习输入句子的上下文表示和论元角色的查询。然后，将输入句子中的每个实体作为候选论元，计算实体与候选论元角色之间的多向注意力语义相关性，最后根据每个论元角色将每个实体划分为一个二元标签。
3、实验
监督的事件抽取
零样本事件抽取
跨本体迁移
消融实验
【论文速递 | 精选】
