【论文速递】COLING 2022 - 带有事件论元相关性的事件因果关系抽取

简介: 事件因果关系识别(ECI)是事件因果关系理解的重要任务,其目的是检测两个给定文本事件之间是否存在因果关系。然而,ECI任务忽略了关键的事件结构和因果关系组件信息

【论文原文】:Event Causality Extraction with Event Argument Correlations


【作者信息】:Cui, Shiyao and Sheng, Jiawei and Cong, Xin and Li, Quangang and Liu, Tingwen and Shi, Jinqiao


论文:https://arxiv.org/pdf/2301.11621.pdf
代码:https://github.com/cuishiyao96/ECE


博主关键词:双网格标记方案、事件因果关系、类型增强


推荐论文:


摘要


事件因果关系识别(ECI)是事件因果关系理解的重要任务,其目的是检测两个给定文本事件之间是否存在因果关系。然而,ECI任务忽略了关键的事件结构和因果关系组件信息,使其难以用于下游应用。在本文中,我们探索了一种新的任务,即事件因果关系抽取(ECE),旨在从纯文本中抽取因果事件对及其结构化事件信息。ECE任务更具挑战性,因为每个事件可以包含多个事件论元,在事件之间提出细粒度的相关性,以确定因果事件对。因此,我们提出了一种带有双网格标记方案(dual grid tagging scheme)的方法来捕获ECE的事件内和事件间论元相关性。在此基础上,我们设计了一种事件类型增强模型架构来实现双网格标记方案。实验证明了我们的方法的有效性,广泛的分析指出了ECE未来的几个方向。


1、简介


事件因果关系(Liu et al, 2020;Cao等人,2021)表示两个事件之间的明确因果关系,构成特定的因果事件对。如图1所示,Price Rise事件(全球油价上涨)和Cost Rise事件(国际航运业成本增加)之间存在因果关系。理解这样的事件因果关系可以促进各种下游应用,包括事件预测(Hashimoto等人,2014)、智能搜索(Rudnik等人,2019)和问题回答(Costa等人,2020),这对自然语言理解很重要。


68d649e777ed4c4da9ea642f4cc4d73e.png


近年来,它引起了事件因果关系识别(ECI)的研究兴趣(Liu et al., 2020; Cao et al.,2021;Zuo et al.,2021a,b, 2020;Tran Phu and Nguyen, 2021),旨在检测两个给定事件之间是否存在因果关系。尽管ECI任务取得了成功,但仍有两个问题未能解决。1)事件结构缺失,ECI中的每个事件仅使用反映其发生的单词或短语来表示,而忽略了显式的事件类型和事件论元(即参与事件的实体)。缺乏这样的事件结构将失去理解事件因果关系的有价值的线索。如图1所示,“oil”在Price Rise-type-cause事件中扮演了Product角色,这意味着对“shipping industry”产生了一个Cost Rise-type-effect事件。2)因果成分缺失(Causality Component Missing), ECI只预测给定事件对之间是否存在因果关系,忽略区分具体的因果事件因果成分。受这些问题的限制,ECI对事件之间的因果关系探究不足,这就需要对事件因果关系的认识进一步提升。


在CCKS(2021)中关于事件因果关系的讨论的激励下,我们制定了一个被称为事件因果关系抽取(ECE)的任务。如图1所示,ECE旨在端到端地从纯文本中抽取带有结构化事件信息的因果事件对。与ECI相比,ECE阐明了事件因果关系,包括事件结构,即事件类型和论元,以及具体的因果关系组件,使其更有信息性,以支持各种下游应用(Wang et al, 2021a)。


直观地说,可以通过依次抽取结构化事件,然后对它们的因果关系进行分类来实现ECE。不幸的是,这样的范例很容易出现冗余事件对问题,其中不可避免地会抽取与因果关系无关的事件,从而混淆因果关系决策。另一个有希望的方向是借用关系三元组抽取(RTE)的思想,它们共享类似的任务公式。然而,与以实体为中心的RTE任务相比,以事件为中心的ECE提出了新的挑战:1)事件内论元相关性(Intra-event Argument correlation)。具体而言,ECE侧重于事件,这是一种保持其论元之间相互关联的结构。例如在图1中,Demand Rise事件中的论元“new energy”和“Ammonia fuel”具有很强的语义相关性。虽然RTE侧重于单个实体,因此简单地采用RTE模型无法捕获此类相关性来派生事件结构。2)事件间论元相关性。具体地说,因果事件对中涉及的事件论元通常显示因果关系推断的语义相关性。如图1所示,发生在“worldwide” Region 的事件Pricing_Rise可以暗示发生在“international” region的事件Cost_Rise。结果表明,事件间论元相关性不仅为确定因果关系提供了重要线索,而且有利于可靠的因果事件抽取,且因果对之间相互确认。


在本文中,我们提出了一种名为DualCor的有效方法,它利用ECE的双网格标记方案探索了事件内和事件间的论元相关性。具体来说,DualCor包含两个关于事件类型和输入句子的网格标记表,分别派生因果事件的事件结构。在每个表中,DualCor根据不同的事件类型抽取结构化的事件论元,自然地考虑到事件内部论元的相关性。此外,在预测原因/结果表中的事件论元时,DualCor还预测它们对应的结果/原因事件论元,作为辅助论元来促进事件论元之间的相关性。通过确认另一个表中的辅助论元,DualCor匹配可靠的因果事件对作为预测。为了实现上述双网格标记方案,我们进一步设计了一种类型感知编码器,该编码器利用基本事件类型信息细化文本表示,以增强论元预测。我们在可感知类型的文本表示上进行双网格标记,以导出最终的因果事件对。总体而言,我们的主要贡献包括:


(1)为了促进对事件因果关系的理解,我们制定了一个新的任务,称为事件因果关系抽取(ECE),它继承了ECI,推动了对事件因果关系理解的研究。


(2)我们提出了一种新颖的方法DualCor,以利用ECE的事件内和事件间的论元相关性,并将其作为激励后续研究的基线。


(3)在ECE数据集上的实验反映了DualCor的有效性,广泛的分析显示了未来工作的潜在研究方向。


2、模型方法


本节介绍了我们提出的ECE双网格标记方案,包括标记方案及其解码策略。第5节介绍了模型的具体实现。


标记模式:一般情况下,我们为因果事件分别构建了两个网格标记表,每个表抽取了句子中可能发生的所有事件。在形式上,给定一个n个token句和m 个预定义的事件类型,我们分别为原因和结果事件构造两个m×n的网格表。如图2所示,每行表示同一事件类型中的论元,而每列表示根据事件类型分配给句子中的token的标记。


26d4c76fcf9b444db844bd4149374c40.png


对于表格中的每一行,我们用一个{Cor-Rol-Bdy}形式的标签填充它,该标签由三个字段组成,分别是correlation-field、role-field和boundary-field:


(1)对于boundary-field:B d y ∈ { S t a , E n d } ,我们设计它来表示论元跨度的起始位置和结束位置。例如,在图2(a)中,我们通过匹配Cor-Rol-Sta和Cor-Rol-End标记来匹配论元“corn seeds”。


(2)对于role-field: R o l ∈ { R o l i } i (i 为角色索引),我们设计它来表示一个事件中每个论元的事件角色,从而构成一个事件结构。例如,在图2(a)中,我们根据Price_Rising行中的Cor-Product-Bdy标签,将论元“corn seeds”确定为Price_Rising类型事件中的Product-role论元。


(3)对于correlation-field:C o r ∈ { I n t r a , I n t e r },我们设计它来表示因果事件对中的事件论元相关性。具体来说,Intra表示一个因果关系组件中属于同一事件的论元,而Inter表示另一个因果关系组件中的论元。例如,在预测原因表中的原因事件时,我们不仅预测具有原因事件类型的原因论元(标记为Intra),还预测潜在的结果论元(标记为Inter),作为因果对匹配中相互确认的辅助论元。图2(a)显示,我们不仅使用Intra为Price_Risetype原因事件预测论元“corn seeds”,而且还使用Inter标记作为影响事件论元预测“corn planting”。通过将论元“corn planting”与effect表中的Intra标记相匹配,我们可以派生一个Price_Rise类型和Profit_Decline类型的事件对。


在标记方案的基础上,该模型可以自然地抽取因果关系事件对及其论元。此外,该方案在单独的类型行中学习每种类型的事件论元,允许模型考虑与特定类型信息的内部事件论元相关性。此外,标记方案强制模型从一个因果关系组件中抽取论元,感知另一个因果关系组件中的论元,从而捕获事件之间的论元相关性。


解码策略:在标记方案的基础上,介绍了标记结果的解码策略。具体来说,我们将该过程分解为论元跨度解码、事件结构解码和因果对解码三个步骤。附录A还提供了这三个步骤的图形说明。


步骤1,论元跨度解码。为了推导因果事件的论元范围,我们采用了最接近的起始-结束匹配原则(Wei et al, 2020)。具体来说,对于在同一行中具有相同的correlation-field和role-filed的条目标签,我们根据位置字段将起始位置与最近的结束位置匹配,以获得候选论元跨度。例如,在图2(a)中,这一步应该预测“agriculture products”、“nationwide”、“corn seeds”、“corn planting”和“across the country”作为候选论元范围。


步骤2,事件结构解码。为了获得因果事件的事件结构,我们收集附加到相同事件类型的候选论元范围。具体来说,我们将事件论元与属于同一行的相关字段Intra合并,从而生成结构化的候选事件。例如,在图2(a)中,给定步骤1中的候选论元范围,该步骤应该选择带有Intra标记的“agriculture products”、“nationwide”和“corn seeds”作为price_rising类型的候选原因事件论元。


步骤3,因果对解码。为了获得因果关系对,我们匹配候选因果事件之间的事件间相关论元。具体来说,我们搜索同时关联相关字段Intra和Inter的两个事件表中同时出现的论元,然后确认因果事件论元。例如,在图2(a)中,给定步骤2中的候选事件论元,这一步应该选择“nationwide”和“corn seeds”作为真正的原因事件论元,因为在效果表中也存在带有Inter标记的“nationwide”和“corn seeds”(图2(b))。类似地,该步骤还选择“corn planting”、“across the country”作为profit_decline类型效应事件中的论元。相应地,它预测price_rise类型的原因和profit_decination类型的结果事件对,如图3所示。请注意,尽管“agriculture product”也是步骤2中price_rise类型事件的事件论元候选,但由于effect表中缺乏Inter correlation,因此它不包括在因果关系对中。


486c53c364704d55b6abe6cdbdb55ed0.png


3、实验结果


e76d125fab074fc3aaf5d908c0aab08b.png


1、Event-then-Causality方法效果普遍较差,没有不考虑因果关系,许多与因果关系无关的事件被错误地抽取出来,这将使因果关系决策混淆。


2、Event-with-Causality结果相对较好,但是没有考虑面向实体的关系建模策略不能充分地探究事件之间的内在相关性和相互相关性。


3、DualCor的效果最好。


【论文速递 | 精选】


fcc8fa9f87404652beb9e08a0ac9652d.png


论坛地址:https://bbs.csdn.net/forums/paper

相关实践学习
基于ACK Serverless轻松部署企业级Stable Diffusion
本实验指导您在容器服务Serverless版(以下简称 ACK Serverless )中,通过Knative部署满足企业级弹性需求的Stable Diffusion服务。同时通过对该服务进行压测实验,体验ACK Serverless 弹性能力。
Kubernetes极速入门
Kubernetes(K8S)是Google在2014年发布的一个开源项目,用于自动化容器化应用程序的部署、扩展和管理。Kubernetes通常结合docker容器工作,并且整合多个运行着docker容器的主机集群。 本课程从Kubernetes的简介、功能、架构,集群的概念、工具及部署等各个方面进行了详细的讲解及展示,通过对本课程的学习,可以对Kubernetes有一个较为全面的认识,并初步掌握Kubernetes相关的安装部署及使用技巧。本课程由黑马程序员提供。   相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
6月前
|
算法 知识图谱
【论文速递】NAACL2022-DEGREE: 一种基于生成的数据高效事件抽取模型
【论文速递】NAACL2022-DEGREE: 一种基于生成的数据高效事件抽取模型
|
5月前
|
数据采集 人工智能 算法
ICLR 2024 Spotlight:单模型斩获蛋白质突变预测榜一!西湖大学提出基于结构词表方法
【6月更文挑战第1天】西湖大学团队研发的蛋白质语言模型SaProt,在结构词表方法下,于蛋白质突变预测任务中荣登榜首。SaProt利用Foldseek编码的结构标记理解蛋白质行为,超越现有基准模型,在10个下游任务中表现出色。尽管训练资源需求大,且有特定任务优化空间,但该模型为生物医学研究带来新工具,促进科学理解与合作。论文链接:[https://www.biorxiv.org/content/10.1101/2023.10.01.560349v4](https://www.biorxiv.org/content/10.1101/2023.10.01.560349v4)
191 7
|
6月前
|
运维
ICLR 2024:跨领域准确进行零样本异常检测,浙大等提出AnomalyCLIP
【5月更文挑战第12天】 浙大、新大和哈佛研究人员合作提出AnomalyCLIP,利用预训练的视觉-语言模型CLIP,学习对象无关文本提示,实现准确的跨领域异常检测。在17个数据集上表现出色,但存在特定领域适应性和计算复杂度问题。研究表明潜力,尤其对工业和医学图像分析。[论文链接](https://arxiv.org/pdf/2310.18961.pdf)
168 1
|
6月前
|
机器学习/深度学习 算法
R语言隐马尔可夫模型HMM识别股市变化分析报告
R语言隐马尔可夫模型HMM识别股市变化分析报告
|
6月前
|
机器学习/深度学习 自然语言处理 语音技术
【论文速递】COLING2022 - 因果情绪关联的双流注意力模型
【论文速递】COLING2022 - 因果情绪关联的双流注意力模型
|
6月前
|
机器学习/深度学习 自然语言处理 算法
【论文精读】COLING 2022 -带有对偶关系图注意力网络的事件检测模型
【论文精读】COLING 2022 -带有对偶关系图注意力网络的事件检测模型
|
人工智能
【论文速递】COLING 2022 - OneEE: 一种用于重叠和嵌套事件抽取的单阶段框架
事件抽取(EE)是信息抽取的基本任务,旨在从非结构化文本中抽取结构化事件信息。大多数先前的工作集中于抽取平面事件,而忽略了重叠或嵌套的事件。
164 0
|
机器学习/深度学习 自然语言处理 Java
【论文速递】ACL 2021-CLEVE: 事件抽取的对比预训练
事件抽取(EE)通过微调从预训练的语言模型(PLMs)中受益匪浅。然而,现有的预训练方法没有涉及事件特征的建模,导致所开发的EE模型不能充分利用大规模无监督数据。
124 0
|
机器学习/深度学习 自然语言处理 搜索推荐
【论文速递】NAACL2022- 文档级事件论元抽取的双流AMR增强模型
以往的研究大多致力于从单个句子中抽取事件,而文档级别的事件抽取仍未得到充分的研究。在本文中,我们专注于从整个文档中抽取事件论元
177 0
|
机器学习/深度学习 编解码
Nature子刊 | 谭济民、夏波等提出基因组构象预测模型及高通量计算遗传筛选方法
Nature子刊 | 谭济民、夏波等提出基因组构象预测模型及高通量计算遗传筛选方法