Global Constraints with Prompting for Zero-Shot Event Argument Classification
代码：HKUST-KnowComp/Constraints-with-Prompting-for-Zero-Shot-EAC: Code for EACL 2023 (Findings) paper “Global Constraints with Prompting for Zero-Shot Event Argument Classification”. (github.com)
期刊/会议：EACL 2023
摘要
确定事件论元的角色是事件抽取的关键子任务。大多数以前的监督模型都利用了昂贵的标注，这对于开放域应用程序是不实际的。在这项工作中，我们建议使用带有提示的全局约束来有效地处理事件论元分类，而不需要任何标注和特定于任务的训练。具体来说，给定一个事件及其相关段落，模型首先通过前缀提示(prefix prompts)和完形提示(cloze prompts)创建几个新段落，其中前缀提示指示事件类型和触发词范围，完形提示将每个候选角色与目标论元范围连接起来。然后，一个预训练好的语言模型对新段落进行评分，做出初步预测。我们新颖的提示模板可以轻松地适应所有事件和论元类型，而无需手动工作。接下来，该模型通过利用跨任务、跨论元和跨事件关系的全局约束来正则化预测。大量的实验证明了我们的模型的有效性:在给定论元跨度的ACE和ERE上，它比最佳零样本基线的性能分别高出12.5%和10.9% F1，在不给定论元跨度的情况下，分别高出4.3%和3.3% F1。
1、简介
事件论元分类(Event Argument Classification2, EAC)，查找事件论元的角色，是一个重要且具有挑战性的事件抽取子任务。如图1所示，触发词为“acquiring(获取)”的“Transfer-Money(转账-钱)”事件有几个论元范围(例如，“Daily Planet”)。通过确定这些论元的作用(例如，“星Daily Planet(球日报)”作为“Beneficiary(受益人)”)，我们可以更好地理解事件，从而有利于股票价格预测(Ding et al, 2015)和生物医学研究(Zhao et al, 2021)等相关应用。
许多以前的EAC工作需要大量的标注来训练他们的模型(Lin et al, 2020;Hsu等，2022;Liu et al, 2022)，这不仅成本高，因为标注是劳动密集型的，而且很难推广到新领域的数据集。因此，一些EAC模型采用了少样本学习范式(Ma et al, 2022;Hsu等人，2022)。然而，它们对极少的示例选择非常敏感，并且仍然需要昂贵的特定于任务的训练，这阻碍了它们在现实生活中的部署。已经有一些基于迁移学习(Huang et al, 2018)或标签语义(Zhang et al, 2021;Wang et al, 2022)，或提示学习(Liu et al, 2020;Lyu等，2021;Huang等，2022;Mehta等人，2022)。然而，这些模型的相应限制阻碍了它们在现实生活中的部署。当新的事件类型与观测到的事件类型有很大差异时，基于迁移学习的模型是无效的。对于使用标签语义的模型，其准备过程繁琐，性能不理想。对于采用提示学习的模型，它们需要繁琐的提示设计，以适应每一种新的事件和论元类型，以及它们的性能也被限制了。
为了解决上述问题，我们提出了一种使用全局约束和提示来解决零样本EAC的方法。全局约束可以看作是来自领域知识的一种监督信号，这对于零样本EAC至关重要，因为来自标注的监督是不可访问的。此外，我们的模型的约束模块提供了横跨任务、论元和事件的丰富的全局洞察。提示也可以看作是一种监督信号，因为它从预训练语言模型(PTLM)中诱导了大量的知识。不像以前的零样本EAC模型，需要为每一种新的事件和论元类型进行繁琐的提示设计，我们模型的提示模块的新提示模板可以轻松地适应所有可能的事件和论元类型，以全自动的方式。具体来说，给定一个事件及其段落，我们的模型首先将前缀提示、完形提示和候选角色添加到段落中，这将创建一组新的段落。前缀提示符描述事件类型和触发词范围。完形提示符将每个候选项连接到目标论元范围。然后，我们的模型采用PTLM计算每个新段落的语言建模损失，其负值即为各自的提示得分。提示得分最高的角色为初始预测。然后，我们的模型使用全局约束来正则化初始预测。全局约束基于以下关系的领域知识:(1)跨任务关系，即我们的模型在目标论元跨度上额外执行另一个或多个分类任务，并且我们的模型对EAC和其他任务的预测应该是一致的;(2)跨论元关系，即一个事件的论元应共同遵守一定的约束;(3)跨事件关系，即在一个事件中发挥一定作用的某个论元在另一个相关事件中发挥典型作用。
我们进行了全面的实验来证明我们的模型的有效性。特别是，我们的方法在ACE和ERE上分别超过了所有零样本基线至少12.5%和10.9% F1。当不给出论元跨度时，我们的模型在ACE和ERE上的表现分别比最佳零样本基线高出4.3%和3.3% F1。除此之外，我们还通过实验证明了提示模块和约束模块都有助于最终的成功。
2、方法
我们首先概述我们的方法。然后对其提示模块和全局约束正则化模块进行了详细介绍。我们遵循(Liu et al, 2021)将在输入文本之前插入的提示符命名为前缀提示符，并将在输入文本中间插入和填充槽的提示符命名为完形提示符。
2.1 总览
如图2所示，给定一段具有目标论元跨度的段落，我们的模型无需标注和特定于任务的训练即可推断目标的角色。我们的模型有两个模块。第一个模块是提示模块，用于创建和评分几个新段落。在创建过程中，模型将前缀提示符、完形提示符和候选角色添加到段落中，其中前缀提示符包含关于事件类型和触发词的信息，而完形提示符将每个候选角色与目标论元范围连接起来。之后，模型使用PTLM对新段落进行评分。我们新颖的提示模板可以很容易地适应所有可能的事件和论元，而无需手动工作。初始预测是提示得分最高的角色。第二个模块是全局约束正则化模块，其中模型通过三种类型的全局约束对预测进行正则化:跨任务约束、跨论元约束和跨事件约束。所有全局约束都基于关于任务间、论元间和事件间关系的事件相关领域知识。
2.2 提示模块
在本节中，我们将详细描述提示模块。给定一段文章，我们首先在开头添加一个前缀提示符，其中包含关于事件类型和触发词范围的信息。这样的提示可以指导PTLM:(1)准确捕捉输入文本与事件相关的视角;(2)对触发词因素有清晰的认识。根据事件和触发词的定义(Grishman et al, 2005)，我们创建了以下前缀提示符:“This is a [] event whose occurrence is most clearly expressed by [].，其中第一对和第二对方括号分别是事件类型和触发词跨度的占位符。
其次，对于每个候选角色，模块在目标论元范围后面插入完形提示符，角色填充提示符的“槽”。完形提示符采用上位词抽取模式“M and any other[]”(Dai et al, 2021)，其中“M”表示论元范围，方括号是候选角色的占位符。我们没有尝试其他超词抽取模式，因为(Dai等人，2021)已经表明我们的模式是最有效的。采用完形空格提示符的超词抽取模式的动机是，在某种程度上，角色可以被视为关联事件的各自论元范围的特定于上下文的超词(例如，“受益人”可以被视为图1中示例所描述的Transfer-Money(转账)事件的“Daily Planet”的特定于上下文的超词)。因此，这样的提示诱导了存储在PTLM中的语言和常识知识，以帮助确定哪个候选角色是最合理的。
在添加了前两种类型的提示后，我们得到了几篇新的文章。例如，假设这篇文章是“In Baghdad, a bomb was fired at 17 people.，事件类型为“Conflict:Attack(冲突:攻击)”，触发词为“fire(发射)”，目标论元跨度为“bomb(炸弹)”，候选角色为{“Attacker”，“Instrument”，“Place”，“Time”，“Target”}。创建的段落将是:(1)This is a Attack event whose occurrence is most clearly expressed by “fired.” In Baghdad, a bomb and any other attacker was fired at 17 people.(2)“This is a Attack ... “fired.” ... bomb and any other instrument was ...”和类似的文本为其他角色。
对于每一个新的段落，我们应用PTLM来计算语言建模损失。损失的负值将是各自段落的提示得分，根据PTLM，值越高表明可信度越高。由于我们的模型的提示模板独立于事件类型和论元角色，它们对任何新类型的事件和论元的适应是微不足道的，完全自动的。因此，我们的提示方法比以前的零样本EAC模型更具可扩展性和通用性，因为对于每一种新的事件和论元类型，它们都需要设计一个定制的提示。例如，对于每种类型的事件/论元，Lyu等人(2021)手动设计了一个独特的提示作为文本包含/问题回答模板。最初的预测将是提示得分最高的角色。由于为每个候选角色获取分数的步骤独立于其他候选角色，因此我们并行实现不同候选角色的步骤。这样的并行实现极大地提高了模型的效率。
2.3 全局约束正则化模块
该模块通过以下三种类型的全局约束规则化预测。
跨任务约束利用了EAC和辅助任务之间的标签依赖关系以至于我们的模型可以从辅助任务中获得关于事件论元的全局信息。我们使用事件论元实体类型(EAET)作为辅助任务。该任务的目的是将一个论元划分为其上下文依赖的实体类型(例如，PER)。正如ACE2005本体中指定的那样，事件中某个角色的论元只能是几种各自的实体类型之一(例如，冲突中“攻击”角色的论元:攻击事件只能是“ORG”、“PER”或“GPE”)。基于该领域知识，我们设计了如下的跨任务约束:(1)对于每个输入段落，我们的模型对EAET进行提示，其中提示与2.2节相同，只是候选实体类型替换了完形提示中的候选角色;(2)在获得EAET的得分和预测后，模型检验EAC预测与EAET预测的一致性;(3)如果违反一致性，EAC预测的角色得分较低，则丢弃当前角色，使用剩余角色中得分最高的角色，重新检查一致性;(4)当两个任务的标签一致时约束结束。图3中显示了说明这种类型约束的示例。
跨论元约束基于关于事件中论元之间关系的领域知识。具体来说，我们的模型限制了一些或所有事件的特定论元的数量。例如，所提到的事件不太可能与多个“时间”论元相关联。这样的约束为我们的模型提供了对事件论元的全局理解。我们采用的交叉论元约束是“A Personnel :End-POSITION事件最多有one Position论元。”给定一个Personnel:End-POSITION事件，我们的模型首先检查“Position”论元的数量。如果数字大于1，那么我们的模型将首先收集角色为“Position”的论元，并删除这些论元中得分最高的论元。然后，对于每个剩余的论元，我们的模型将把角色更改为得分第二高的候选人。图4显示了说明这种类型约束的示例。
跨事件约束规则化相关事件共享的论元的预测角色。具有这种约束的模型可以对事件论元具有全局洞察力，因为当它们对一个事件的论元进行推理时，它们知道其他相关事件和跨事件关系的信息。我们采用的交叉事件约束是“If a Life:Injure event and a Conflict:Attack event share arguments, then Injure.Place is the same as Attack.Place, Injure.Victim is the same as Attack.Target, Injure.Instrument is the same as Attack.Instrument, Injure.Time is the same as Attack.Time, Injure.Agent is the same as Attack.Attacker”。给定一个包含伤害和攻击事件共享论元的段落，模型通过检查约束中指定的每个共享论元各自角色之间的一致性来施加约束。如果出现不一致的情况，可以通过将提示分数较低的角色更改为满足一致性的新角色来解决。图5中显示了说明这种类型约束的示例。
我们的约束建模方法可以很容易地推广到其他数据集/本体，只需使用相应的交叉任务、交叉论元和交叉事件关系的知识来设计新的约束。设计过程并不昂贵，因为我们可以很容易地从目标数据集的指导方针中找到这些知识。
3、实验
3.1 实验结果
