【ACL 2023-NER注入到PLM】基于上下文学习的命名实体识别 Learning In-context Learning for Named Entity Recognition

速览

基于上下文学习的命名实体识别研究提出了一种新颖的方法，旨在解决现实世界应用中命名实体识别（NER）面临的主要挑战，如

实体类型多样性、

新实体类型的出现、

以及缺乏高质量标注数据。

NER注入到PLM

这种方法通过将上下文命名实体识别能力注入预训练语言模型（PLM），实现了对新类型实体的有效识别，仅需少量示例。

局限性

尽管本文的方法展现出了强大的潜力，但也存在一定的局限性。

目前的工作主要集中在上下文中的命名实体识别，而将其他NLP任务的上下文学习能力留待未来的工作。

此外，当前方法通过元函数预训练来学习上下文学习，主要在编码器的表示层面上进行操作，涉及到两种近似方法：

①用于近似黄金提取函数的微调代理提取函数，

②以及用于近似函数之间差异的表示方法。

这些近似方法提供了初步的成功，但仍有改进的空间，特别是在优化上下文学习的速度和效率方面。

1.In-context NER介绍

在这个实例中，我们看到上面两个文本被作为了元函数进行训练，分别得出的函数是文本的分类为{疾

病，病毒}和{电影}。下文中我们认为目标是在文本中找到有{疾病，病毒}属性的文本，最终经过PLM得出SARS-CoV-2是一种病毒. COVID-19 是一种疾病。

2.上下文少镜头NER的输入和输出格式

这是本文推理结构，也是上个实例的推理模式展开。

关键贡献

• 提出基于上下文学习的命名实体识别方法：这种方法有效解决了实体类型多样性、新实体类型出现以及缺乏高质量标注数据的问题。通过将PLM建模为元函数，可以通过新的指令和演示隐式构建新的实体提取器。
  
• 元函数预训练算法：为了将上下文NER能力注入PLM，提出了一种元函数预训练算法，通过比较指令、演示初始化的提取器与替代黄金提取器对PLM进行预训练，从而生成准确的实体提取器。
  
• 实验验证：在四个少样本NER数据集上的实验结果表明，所提出的方法可以有效地将上下文中的NER能力注入到PLM中，并明显优于PLM + 微调的对应方法。
  

方法细节

• PLM作为元函数：将PLM建模为一个可以通过新的指令和演示隐式构建新的实体提取器的元函数，其中新的实体提取器定义为F : 文本 → 实体 F: \text{文本} \rightarrow \text{实体}F:文本→实体。
• 元函数预训练：提出了一种元函数预训练算法，通过比较隐式构建的提取器与显式微调的替代黄金提取器来预训练PLM，确保元函数能够从指令和演示中尽可能准确地生成实体提取器F FF。
• 应用场景：这种方法不仅能够实时识别新类型的实体，而且通过动态利用指令和演示中包含的信息，克服了基于度量方法的局限性，提高了NER任务的灵活性和准确性。

元函数预训练概述

首先我们看到，蓝色的方框中为微调过的函数，这时我们认为微调过的函数取得了最好的结果，也就是预测准确度非常高。我们希望通过设计这样的元函数，使得我们的函数最大程度的接近这个最优微调函数，而非是最大化我们的准确度（这里指的是方式，结果上来说都是为了最大化准确度）。所以我们的任务是最小化两个函数间的距离。我们继续在上文的例子中进行讲解，假设我们只有两个指示（instruction）一个预测疾病，一个预测病毒，这个会放在绿色的文本框中，而我们预测相关的单词会放在黄色的文本框中，而蓝色的文本框中放的是文本信息，在比较中没有作用，所以我们舍弃这一部分。

那么接下来是比较两者差距，假设一开始对于病毒（virus）预测的结果是引起（causes）。他们在编码后的差距较大，证明我们预测错误，为了正确预测相关内容，我们要最小化这一差距。则用上文的方法进行梯度下降。最后实现F与F’最小化。

结论与展望

本研究提出的基于上下文学习的命名实体识别方法，为解决NER在现实应用中遇到的挑战提供了新的视角和解决方案。通过有效注入上下文NER能力到PLM中，显著提高了识别新类型实体的能力。未来的工作可以探索将这种方法扩展到不同的NLP任务，如事件抽取和关系抽取，以进一步验证方法的通用性和有效性。

正文

2 相关工作

少样本NER

在研究基于上下文学习的命名实体识别（NER）之前，先来看看相关工作的总结，特别是在少样本NER（FS-NER）方面的进展。

基于微调的方法和基于度量的方法

这些研究主要集中在两大类方法上：基于微调的方法和基于度量的方法。

以下是这些方法的比较，展示在表格中方便阅读：

背景补充

少样本NER研究的目标是在提供极少量标注样本的情况下，实现对新实体类型的有效识别。基于微调的方法利用新的样本实例调整模型的权重，以适应新的实体类型，这种方法的主要挑战在于重新训练通常需要较高的计算成本，特别是对于大规模模型。而且，新的实体类型无法在模型运行中即时处理。

与此相对，基于度量的方法通过比较查询实例与支持实例或原型之间的相似性来识别实体，这种方法的优点是可以避免更新模型参数，从而减少计算成本。但是，这类方法依赖于固定的匹配架构，并且对于域间的偏移（domain shift）较为敏感，因为它们没有充分利用目标域中的信息。

本研究提出的方法试图通过将上下文NER能力注入PLM，解决这些方法的局限性，特别是在处理实体类型多样性和新实体类型出现的场景下，显示出了更好的适应性和效率。

少样本NER性能提升的方法

在相关工作中，少样本命名实体识别（NER）的研究主要集中在探索如何通过少量标注数据来提高NER任务的性能。以下是一些当前阶段提升少样本NER性能的主要方法，以表格形式呈现：

少样本NER是一项具有挑战性的任务，尤其是在新实体类型频繁出现的现实世界应用中。最近的研究工作通过不同的方法来提高模型在少样本学习环境下的性能。基于微调的方法虽然直观有效，但在大规模模型中重新训练成本较高。基于度量的方法和原型网络（ProtoNet）通过比较相似度来避免直接微调，展现了快速适应新类型的潜力，但这些方法可能对于数据分布的变化较为敏感。

最新的方法，如NNShot、StructShot和CONTAINER，通过结构化预测、最近邻比较和对比学习等技术，旨在提高少样本NER的边界识别和类型分类的准确性。这些方法不仅提高了模型对少见或新出现实体类型的识别能力，也为解决NER任务中的样本稀缺问题提供了新的思路。未来的工作可以在优化这些方法的基础上，探索如何更有效地结合不同技术，以进一步提升少样本NER的性能和泛化能力。

情境学习（In-context Learning）

相关工作中，情境学习（In-context Learning）的部分探讨了如何通过大规模预训练语言模型（PLM）如GPT-3进行情境学习，以及近期研究如何增强这一能力。

以下是这些研究的概要和比较：

上下文学习作为近年来大规模预训练语言模型研究的热点之一，尤其在GPT-3展示了强大的多任务学习能力后，引起了广泛关注。现有研究主要围绕如何优化和提升PLM在不同情境下的学习和适应能力。

通过选择有效的演示、优化演示顺序，以及在小型模型中复制这种能力，研究者们试图理解和增强PLM的上下文学习机制。这些研究不仅展示了上下文学习的潜力和挑战，也为未来如何利用PLM解决特定任务提供了新的视角和方法。

尽管现有研究已取得初步成果，但如何在保持模型泛化能力的同时，进一步提升模型在特定任务上的性能和效率，仍是一个值得探索的问题。

3 上下文命名实体识别

上下文命名实体识别（Contextual Named Entity Recognition, NER），它利用上下文信息来识别文本中的实体（如人名、地点、组织等）。

这种方法旨在解决实体类型多样性、新实体类型的出现以及缺乏高质量标注数据的问题。

方法概述

提出的方法通过将上下文命名实体识别能力注入到预训练语言模型（PLM）中，实现了对新类型实体的有效识别，仅需少量示例。这一过程涉及将PLM建模为一个元函数（Meta-function），通过新的指令和演示隐式构建新的实体提取器。

1. 使用说明和演示：

• 说明（Instruction）: 用于描述目标实体类型的序列，指导模型识别什么类型的实体。表示为I II。
• 演示（Demonstration）: 提供了目标实体类型的实例，帮助模型学习如何从上下文中提取实体。表示为D DD。

2. 元函数预训练：

• 将PLM建模为元函数λ \lambdaλ，通过新的指令I II和演示D DD隐式构建新的实体提取器F FF。表示为( λ . M ) ( I , D ) → F (\lambda.M)(I, D) \rightarrow F(λ.M)(I,D)→F，其中M MM是PLM，F FF是从文本到实体的映射函数F : Text → Entities F: \text{Text} \rightarrow \text{Entities}F:Text→Entities。

3. 实体提取过程：

• 输入包括指令I II、演示D DD和文本T TT，输出为提取的实体列表Y YY。提取过程可以形式化为F ( T ) = Y F(T) = YF(T)=Y。

关键组成部分和公式

1. 预训练设置：
   

• 上下文NER任务x xx表示为元组( I , D , T , E ) (I, D, T, E)(I,D,T,E)，其中E EE是实体标注。元函数预训练目标：最小化提取器F FF和代理提取器F ′ F'F ′之间的差异，即最小化∥ F ′ − F ∥ \| F' - F \|∥F ′ −F∥。

2. 元函数预训练：给定指令I II、演示D DD和文本T TT，模型输出F FF和F ′ F'F ′ 的特征表示，计算二者之间的欧氏距离作为元函数损失L meta-function L_{\text{meta-function}}L meta-function ：L meta-function = 1 n + k ∑ i = 1 n + k d ( F i , F i ′ ) L_{\text{meta-function}} = \frac{1}{n+k} \sum_{i=1}^{n+k} d(F_i, F'_i)L meta-function = n+k1 i=1∑n+k d(F i ,F i′ )其中d ( ⋅ ) d(\cdot)d(⋅)表示欧氏距离，n + k n+kn+k是特征数量。
3. 提取函数预训练：给定指令I II、演示D DD和文本T TT，序列到序列实体提取器的目标是最小化提取损失L extraction L_{\text{extraction}}L extraction ，即负对数似然：L extraction = − log ⁡ P ( Y ∣ I , D , T ; θ ) L_{\text{extraction}} = -\log P(Y | I, D, T; \theta)L extraction =−logP(Y∣I,D,T;θ)其中Y YY是实体列表，θ \thetaθ是模型参数。

结论

基于上下文学习的命名实体识别方法有效地将NER能力注入PLM，通过元函数预训练和实体提取预训练，实现了对新类型实体的实时、高效识别。

这种方法不仅提高了NER任务的灵活性和准确性，也为其他NLP任务提供了新的解决方案。未来的研究将继续探索这一方法的扩展和优化，以进一步提升模型性能。

4 上下文NER的元函数预训练

上下文命名实体识别（NER）的元函数预训练是一个关键步骤，旨在通过模拟预训练语言模型（PLM）的方式，将上下文NER能力注入到PLM中。这一过程涉及将PLM建模为一个元函数，这个元函数能够根据给定的指令和演示隐式构建出新的实体提取器。

元函数预训练过程

预训练设置：定义元函数

上下文NER任务x xx表示为元组( I , D , T , E ) (I, D, T, E)(I,D,T,E)，其中E EE是实体标注。

元函数定义为λ \lambdaλ, 它通过应用于PLM的新指令I II和演示D DD来隐式构建新的实体提取器F FF。这可以表达为：

( λ . M ) ( I , D ) → F (\lambda.M)(I, D) \rightarrow F

(λ.M)(I,D)→F

其中M MM表示PLM，F FF是实体提取器，可以理解为F : Text → Entities F: \text{Text} \rightarrow \text{Entities}F:Text→Entities的映射函数。

预训练目标：

元函数预训练目标：最小化提取器F FF和代理提取器F ′ F'F ′ 之间的差异，即最小化∥ F ′ − F ∥ \| F' - F \|∥F ′ −F∥。

具体而言，最小化PLM通过指令I II和演示D DD隐式构建的实体提取器F FF与使用演示进行微调得到的替代黄金提取器F ∗ F^*F ∗ 之间的差异。

具体来说，是最小化二者特征表示之间的欧氏距离。给定指令I II、演示D DD和文本T TT，模型输出F FF和F ′ F'F ′ 的特征表示，计算二者之间的欧氏距离作为元函数损失L meta-function L_{\text{meta-function}}L meta-function ：L meta-function = 1 n + k ∑ i = 1 n + k d ( F i , F i ′ ) L_{\text{meta-function}} = \frac{1}{n+k} \sum_{i=1}^{n+k} d(F_i, F'_i)L meta-function = n+k1i=1∑n+k d(F i ,F i′ )

其中d ( ⋅ ) d(\cdot)d(⋅)表示欧氏距离，n + k n+kn+k是特征数量，F FF和F ′ F'F ′

分别是模型通过( I , D ) (I, D)(I,D)构建和微调得到的提取器的特征。

优化目标： 提取函数预训练：

通过最小化L meta-function L_{\text{meta-function}}L meta-function ，模型学习如何根据新的指令和演示隐式地构建出准确的实体提取器。这一过程实际上是通过比较和整模型内部表示来实现的，以确保模型能够理解和执行基于上下文的NER任务。给定指令I II、演示D DD和文本T TT，序列到序列实体提取器的目标是最小化提取损失L extraction L_{\text{extraction}}L extraction ，即负对数似然：L extraction = − log ⁡ P ( Y ∣ I , D , T ; θ ) L_{\text{extraction}} = -\log P(Y | I, D, T; \theta)Lextraction =−logP(Y∣I,D,T;θ)

其中Y YY是实体列表，θ \thetaθ是模型参数。

这部分公式很多，论文如下：

为了学习上述抽取能力，设计了两个抽取预训练任务

包括实体抽取任务和伪抽取语言建模任务:

总结

上下文NER的元函数预训练通过比较和优化PLM内部的表示，使其能够根据给定的少量示例（指令和演示）快速适应并执行新的NER任务。这种方法提高了PLM的灵活性和适应性，为处理多样化和未见

过的实体类型提供了一种有效的解决方案。通过元函数预训练，PLM学会了如何利用上下文信息来增强其命名实体识别的能力，这对于开发高效、准确的NER系统具有重要意义。

5 实验

在论文中提到的实验部分，作者通过在几个少样本NER数据集上进行实验，以验证所提出方法的有效性。

这些实验旨在展示基于上下文学习的命名实体识别方法如何能够有效地将上下文中的NER能力注入到预训练语言模型（PLM）中，并与现有的方法进行比较。

实验设置

• 预训练设置：使用Wikipedia和Wikidata构建的大规模远程NER数据集进行预训练。
• 数据集：实验在4个不同领域的少样本NER数据集上进行，包括CoNLL03、WNUT17、NCBI-disease和SEC-filings。
• 评估指标：使用微平均F1分数（Micro-F1）作为性能评估的指标。

基线

在进行命名实体识别（NER）的实验中，作者比较了所提出的MetaNER方法与一系列预训练语言模型（PLM）和专门针对NER任务设计的模型。这些基线模型代表了当前少样本NER领域的最新进展。

以下是基线模型的概述和比较：

在少样本NER任务中，预训练语言模型（如T5和GPT-Neox-20B）因 其广泛的知识覆盖和灵活的适应性而被广泛探索。这些模型通过微调或上下文提示 （in-context learning）来适应新的NER任务，但通常需要大量的计算资源。相比之下，专门针对NER任务设计的模型（如ProtoNet、NNShot、StructShot和CONTAINER）通过引入任务特定的机制（如原型比较、结构化预测和对比学习）来提高模型在少样本环境下的性能。这些方法旨在通过有效利用有限的样本来学习实体的一般表示，减少对大量标注数据的依赖。

MetaNER方法通过将PLM建模为元函数，并利用元函数预训练来增强模型的上下文学习能力，展现了在少样本NER任务上优于传统PLM和专门设计的NER模型的性能。这表明，通过合理设计预训练策略和学习机制，即使在标注数据极其有限的情况下，也能显著提高NER任务的性能。这对于推动少样本学习领域的发展具有重要意义，尤其是在数据获取成本高昂或难以获得大规模标注数据的应用场景中。

主要结果

实验结果以表格形式展示，对比了所提出的MetaNER方法与其他预训练语言模型及预训练NER模型在1-shot和5-shot设置下的性能：

根据提供的实验结果总结，MetaNER展示了在少样本NER任务上的显著优势，特别是在与大型语言模型（PLM）相比较时。

以下是关键发现的详细分析：

1. 挑战性的少样本NER任务：实验结果表明，即使对于大型PLM而言，少样本NER仍然是一项挑战性的任务。MetaNER能够在这一任务中取得良好的上下文NER性能，与最好的PLM相比，其F1值提高了8.4%。这一发现强调了MetaNER在理解和适应新实体类型方面的能力，超越了传统的大型PLM在一些数据集上的表现。
2. 源-目标领域差距下的鲁棒性能：MetaNER在面对较大的源-目标领域差距时仍能保持鲁棒的性能。相比于性能最好的基于度量的NER模型，MetaNER-base和MetaNER的F1值分别提高了26.8%和40.7%。这一结果特别在生物学领域（NCBI-disease）和金融领域（SEC-filings）的数据集上更为显著，说明了MetaNER在跨领域适应性方面的优势。
3. 元函数预训练的有效性：元函数预训练策略成功地将上下文学习能力注入到了小型和大型PLM中。MetaNER-base和MetaNER在1-shot和5-shot设置中均取得了印象深刻的性能，证明了即使在小型PLM中也能通过元函数预训练有效地实现上下文学习。这一点尤其重要，因为目前在上下文学习领域的大部分进展集中在GPT-3等大型模型上。

MetaNER通过元函数预训练和上下文学习机制，不仅在少样本NER任务上表现出色，还展现了跨领域的强大适应性。这些实验结果不仅证实了MetaNER方法的有效性，也为将来在少样本学习以及跨领域NER任务中应用PLM提供了宝贵的见解和方向。通过进一步优化预训练策略和学习机制，MetaNER有潜力在更广泛的NLP任务中实现更高的性能和更好的泛化能力。

详细分析

探讨了消融实验、元功能预训练的效果，以及上下文学习与微调之间的比较，以深入了解MetaNER方法的核心组成部分及其对模型性能的具体影响。

MetaNER通过元功能预训练和上下文学习机制，在少样本NER任务中实现了显著的性能提升。消融实验进一步证实了元功能预训练和上下文信息对模型性能的重要贡献。同时，与传统的微调方法相比，上下文学习在少样本学习场景中展示了其独特的优势和潜力。未来的研究可以探索如何进一步优化这两种方法的结合，以实现更高效和泛化的NER模型。

消融实验

消融实验通过逐一移除模型的关键组件来评估每个部分对模型性能的贡献。这种实验设计有助于揭示不同技术和策略对提升模型性能的重要性。

1. 元函数预训练的去除：去除元函数预训练步骤后，模型性能显著下降，这证明了元函数预训练对于模型学习如何从少量示例中快速适应新任务是至关重要的。
2. 上下文信息的去除：在不使用上下文信息进行训练的情况下，模型在处理新实体类型时的效果大幅度降低，强调了上下文信息在提升模型适应新类型实体能力中的重要作用。

元功能预训练的效果

主要思想：元功能预训练通过在模型中注入上下文学习的能力，显著提升了模型在少样本NER任务上的性能。

实验结果表明，通过元功能预训练，模型能够更有效地利用指令和演示信息来构建新的实体提取器，从而提高了对新实体类型的识别精度。

上下文学习vs微调

上下文学习和微调是提升少样本NER性能的两种不同策略。上下文学习侧重于通过模型内部的调整来适应新任务，而微调则是通过在新任务数据上重新训练模型的参数来实现适应。

1. 上下文学习：MetaNER方法通过上下文学习显示了在不同数据集上的良好性能，尤其是在只有极少数标注样本可用时。这证明了上下文学习在提高模型泛化能力方面的有效性。
   
2. 微调：微调方法虽然在某些情况下可以获得更高的性能，但它通常需要更多的计算资源和时间。此外，在数据极其稀缺的情况下，微调的效果可能不如上下文学习稳定。
   

6 结论

本文成功地提出并验证了一种基于上下文学习的命名实体识别（NER）方法，通过将预训练语言模型（PLM）建模为元函数，这一创新方法能够有效地将上下文命名实体识别能力注入到PLM中，实现了使用极少量的演示实例对新类型实体的实时识别。实验结果充分展示了该方法在多个数据集上对上下文命名实体识别的有效性。

未来工作

对于未来的研究方向，作者计划将这一方法扩展到更多的自然语言处理（NLP）任务中，包括但不限于事件抽取和关系抽取。这一扩展有潜力揭示该方法在处理各种NLP问题时的通用性和适用性，进一步加强模型在不同任务上的表现和泛化能力。

局限性

尽管本文的方法展现出了强大的潜力，但也存在一定的局限性。目前的工作主要集中在上下文中的命名实体识别，而将其他NLP任务的上下文学习能力留待未来的工作。此外，当前方法通过元函数预训练来学习上下文学习，主要在编码器的表示层面上进行操作，涉及到两种近似方法：用于近似黄金提取函数的微调代理提取函数，以及用于近似函数之间差异的表示方法。这些近似方法提供了初步的成功，但仍有改进的空间，特别是在优化上下文学习的速度和效率方面。

结论

总的来说，本文提出的基于上下文学习的命名实体识别方法为少样本NER问题提供了一个有效的解决方案，同时也为未来在其他NLP任务中应用上下文学习开辟了新的道路。尽管存在局限性，但这些局限性也为未来的研究提供了改进的方向和挑战。随着方法的进一步优化和扩展，预期该方法将在更广泛的NLP领域发挥更大的影响力。