【论文速递】COLING 2022 - OneEE: 一种用于重叠和嵌套事件抽取的单阶段框架

简介: 事件抽取(EE)是信息抽取的基本任务,旨在从非结构化文本中抽取结构化事件信息。大多数先前的工作集中于抽取平面事件,而忽略了重叠或嵌套的事件。

【论文原文】:OneEE: A One-Stage Framework for Fast Overlapping and Nested Event Extraction


【作者信息】:Cao, Hu and Li, Jingye and Su, Fangfang and Li, Fei and Fei, Hao and Wu, Shengqiong and Li, Bobo and Zhao, Liang and Ji, Donghong


论文:https://arxiv.53yu.com/pdf/2209.02693.pdf
代码:https://github.com/Cao-Hu/OneEE (代码未上传)


博主关键词:事件抽取、重叠和嵌套事件、单阶段

推荐论文:TPLinker:http://t.csdn.cn/tW8n2,CasEE:http://t.csdn.cn/FQZuX

摘要


事件抽取(EE)是信息抽取的基本任务,旨在从非结构化文本中抽取结构化事件信息。大多数先前的工作集中于抽取平面事件,而忽略了重叠或嵌套的事件。一些用于重叠和嵌套EE的模型包括几个抽取事件触发词和论元的连续阶段,这些阶段会受到错误传播的影响。因此,我们设计了一个简单而有效的标注方案和模型来表述EE作为词-词关系识别,称为OneEE。通过并行网格标记,在一个阶段内同时识别触发词和论元词之间的关系,从而获得非常快的事件抽取速度。该模型采用自适应事件融合模块生成事件感知表示,采用距离感知预测器集成相对距离信息进行词-词关系识别,并通过实例验证了这两种机制的有效性。在3个重叠和嵌套的EE基准(即FewFC、Genia11和Genia13)上进行的实验表明,OneEE实现了最先进的(SoTA)结果。此外,在相同条件下,OneEE的推理速度比基线的推理速度快,由于支持并行推理,可以进一步大幅度提高推理速度。


1、简介


图1展示了现有事件抽取的情况,大致可以分为Flat Event,Overlapped Event,Nested Event三种。传统的方法常将EE看成序列标注任务,不能有效解决事件提及的重叠问题,如图1中的(b)所示,两个重叠的事件共享触发词acquired。图1中的©展示了嵌套事件的例子,其中Gene Expression事件是另一个Positive Regulation事件的Theme论元。


da665c8617734b1da857b69e3949f816.png


重叠和嵌套EE的前期研究(Yang et al, 2019;Li et al,2020)采用基于管道的方法,在几个连续的阶段抽取事件触发词和论元。最近,最先进的模型Sheng等人(2021)也使用了这样一种连续执行事件类型检测、触发词抽取和论元抽取的方法。这种方法的主要问题是后一阶段依赖于前一阶段,这固有地带来了误差传播问题。


为了解决上述问题,我们提出了一种新的标记方案,将重叠和嵌套的EE转换为词-词关系识别。如图2所示,我们设计了两种类型的关系,包括跨度关系(S-*)和角色关系(R-*)。S-*处理触发词和论元识别,表示两个单词是触发词(T)的头尾边界还是论元(a)的头尾边界。R-*处理论元角色分类,表示论元是否在事件中扮演“*”角色。


faa53f283c684be58314daa29601642d.png


在此基础上,我们进一步提出了一个单阶段事件抽取模型,该模型主要包括三个部分。首先,它采用BERT (Devlin et al, 2019)作为编码器来获得上下文化的单词表示。然后,使用自适应事件融合层(由一个注意模块和两个门融合模块组成)获得每种事件类型的事件感知上下文表示。在预测层,我们通过计算距离感知分数,并行预测每对单词之间的跨度和角色关系。最后,可以在一个阶段中使用这些关系标签解码事件触发词、论元及其角色,而不会出现错误传播。


我们在3个重叠和嵌套的EE数据集上评估了OneEE (FewFC (Zhou et al, 2021), Genia11 (Kim et al, 2011)和Genia13),并进行了广泛的实验和分析。


  • 我们设计了一种新的标记方案,将事件抽取转换为单词-单词关系识别任务,为重叠和嵌套的EE提供了一种新颖而简单的解决方案。


  • 我们提出了OneEE,这是一个单阶段模型,可以有效地并行抽取重叠和嵌套EE的词-词关系。


  • 我们进一步提出了自适应事件融合层,以获得事件感知的上下文表示,并有效地集成事件信息。


  • OneEE在性能和推理速度方面都优于SoTA模型。


2、框架


我们的模型体系结构如图3所示,它主要由三个部分组成。首先,使用广泛使用的预训练语言模型BERT (Devlin et al, 2019)作为编码器,从输入句子中产生上下文化的单词表示。然后,采用自适应事件融合层(由一个注意力模块和两个门模块组成)将目标事件类型嵌入到上下文表示中;然后利用预测层联合抽取词对之间的跨度关系和角色关系。


5e4e9e76996a4b48975a2d6cac001a35.png


3、实验


数据集

28caccc9f2364af48be8cb48a13639f9.png

实验结果

f94af682b8774294a1da1fb938cefdd0.png

b8c6a4a9ee1e47df9ed2c383610ecf92.png


表2报告了所有方法在重叠EE数据集FewFC上的结果,而表3报告了嵌套EE数据集Genia11和Genia13上的结果。我们可以观察到:


1)我们的方法显著优于所有其他方法,并在所有三个数据集上都获得了最先进的F1分数。


2)与序列标注方法相比,我们的模型获得了更好的召回率和F1分数。具体而言,在FewFC数据集上,我们的模型在召回率和AC F1分数上比BERT-CRFjoint分别提高了11.7%和6.3%,在两个Genia数据集上,AC F1分数平均提高了4.4%。结果表明,序列标注方法只能解决Flat EE问题,OneEE模型在重叠和嵌套EE问题上是有效的。


3)与多阶段方法相比,我们的模型在F1分数上的表现也有了很大的提高。我们的模型在三个数据集上的TC F1得分平均比最先进的模型CasEE高出2.1%。我们认为这是因为我们的自适应事件融合模块很好地学习了事件特征。特别是,我们的模型在三个数据集上比CasEE平均提高了3.4%的AI和1.6%的AC。结果显示了我们的单阶段框架的优越性,它可以很好地实现重叠和嵌套的事件抽取,并且没有错误传播。


图五展示了OneEE效果好于其他模型,重点原因有两个:


1.相对于序列标注模型,OneEE有效解决了嵌套EE问题。

2.相对于CasEE模型,OneEE有效解决了错误传播问题。


05dd7b72e710474c941e51d988142b56.png


消融实验


971739c0258b4b01ba63029ceb23ee20.png

c0dc266b766d4c378ab97760e42370de.png

bac676da19b64d2cae0a9fe1a011bc70.png


c770136f3e314def99d920f0e1a70d36.png


79341415fe6544a2872d4af1380970c7.png

91b9f3cc7a724d4daf2e03556465e8cc.png


【论文速递 | 精选】


fcc8fa9f87404652beb9e08a0ac9652d.png


论坛地址https://bbs.csdn.net/forums/paper

目录
相关文章
|
4月前
|
算法 知识图谱
【论文速递】NAACL2022-DEGREE: 一种基于生成的数据高效事件抽取模型
【论文速递】NAACL2022-DEGREE: 一种基于生成的数据高效事件抽取模型
|
4月前
|
自然语言处理 算法
【论文精读】COLING 2022 - CLIO: 用于文档级事件抽取的角色交互多事件头注意力网络
【论文精读】COLING 2022 - CLIO: 用于文档级事件抽取的角色交互多事件头注意力网络
|
9月前
|
人工智能 自然语言处理 知识图谱
【论文速递】COLING 2022 - 带有事件论元相关性的事件因果关系抽取
事件因果关系识别(ECI)是事件因果关系理解的重要任务,其目的是检测两个给定文本事件之间是否存在因果关系。然而,ECI任务忽略了关键的事件结构和因果关系组件信息
78 0
|
9月前
|
存储 自然语言处理 测试技术
【论文速递】COLING 2022 - 联合语言语义和结构嵌入用于知识图补全
补全知识三元组的任务具有广泛的下游应用。结构信息和语义信息在知识图补全中都起着重要作用。与以往依赖知识图谱的结构或语义的方法不同
206 0
|
9月前
|
数据采集 机器学习/深度学习 算法
【论文速递】EMNLP 2020 - 将事件抽取作为机器阅读理解任务
事件抽取(Event extraction, EE)是一项重要的信息抽取任务,旨在抽取文本中的事件信息。以前的EE方法通常将其建模为分类任务
85 0
|
9月前
|
自然语言处理
【论文速递】ACL 2021-CasEE: 一种用于重叠事件抽取的级联解码联合学习框架
【论文原文】:A Joint Learning Framework with Cascade Decoding for Overlapping Event Extraction
64 0
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
CasEE: 一种用于重叠事件抽取的级联解码联合学习框架 论文解读
事件抽取(Event extraction, EE)是一项重要的信息抽取任务,旨在抽取文本中的事件信息。现有方法大多假设事件出现在句子中没有重叠,这不适用于复杂的重叠事件抽取。
172 0
|
9月前
|
机器学习/深度学习 自然语言处理 测试技术
【论文速递】CASE 2022 - EventGraph: 将事件抽取当作语义图解析任务
事件抽取涉及到事件触发词和相应事件论元的检测和抽取。现有系统经常将事件抽取分解为多个子任务,而不考虑它们之间可能的交互。
85 0
|
9月前
|
机器学习/深度学习 自然语言处理 搜索推荐
【论文速递】NAACL2022- 文档级事件论元抽取的双流AMR增强模型
以往的研究大多致力于从单个句子中抽取事件,而文档级别的事件抽取仍未得到充分的研究。在本文中,我们专注于从整个文档中抽取事件论元
106 0
|
9月前
|
数据挖掘 测试技术
【论文速递】EMNLP 2022 - 一种大规模中文标题数据集的开放事件抽取基准
事件抽取(EE)对于新聚合和事件知识图构建等下游任务至关重要。大多数现有的EE数据集手动定义固定的事件类型,并为每种事件设计特定的模式
121 0