【论文速递】 ACL2022 - 三思而后言: 为回答生成任务显式地生成内隐常识
#
【论文原文】：ACL2022 - Think Before You Speak: Explicitly Generating Implicit Commonsense Knowledge for Response Generation
论文： https://aclanthology.org/2022.acl-long.88/
博主关键词：隐式常识生成， 知识匹配， prompt，可解释性
推荐相关论文：
论文：Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters
地址： https://arxiv.org/abs/2105.06232
关联创新点：信息检索式的知识增强模型
摘要
隐式知识，如常识（common sense），是人工智能能够产生流畅人类对话的关键。目前神经回答生成（Response Generation，RG）模型通过训练直接生成回答，忽略了未说明的隐性知识。在本文中。我们提出了一种生成方法：三思而后言（Think-Before-Speaking，TBS）。首先将隐性常识知识具体化（Think），然后使用这些知识来产生回（Speak）。作者认为，将内隐知识具象化能允许更有效的学习，产生更多有信息含量的回答，并使模型更容易解释。作者尝试了多种策略来收集与知识相关的对话，表达内隐知识，以及知识和对话之间的过渡。实证结果显示，在大多数指标上，TBS模型的性能优于端到端的 RG模型。经人工标注者评估，TBS模型产生了更多的有信息量的、确切的、遵循常识的回答。在85%的时间里，TBS产生了有意义的知识。
简介
人类沟通的目的是为了达成共同点（common ground），包括共同的信念和常识性内容。这种共同点（common ground）不仅取决于说话，还包括有隐性的知识。例如，在Figure 1中，这种共同点（common ground）蕴含了"玫瑰是一种类型的花"这种相关隐性背景知识 。整合这种对话中的共同点是一个隐性的过程，通常被称为建立知识基础（knowledge grounding）。 最近SOTA的神经回答生成（RG）模型是基于预先训练的语言模型（LM），以端到端方式产生回答。预训练模型事先经过训练，利用历史知识做出回应。 然而由于隐知识在对话历史中未被陈述，RG 模型无法显式地学习这些知识基础（knowledge grounding），可能会产生无信息的、 幻化的知识 。Knowledge-grounded RG模型解决了这个问题， 然而，大多数方法都需要基于知识库(KB)对RG进行知识检索，受限于所使用的知识库覆盖范围。 还有一些工作将知识作为一种潜在变量去生成，这使得我们很难检验知识生成的质量以及RG模型如何使用内隐知识，提出了可解释性方面的问题。
在inquiry-based discovery learning方法的启发下，我们提出了 "三思而后言"（TBS）这一RG框架来显式地生成隐性知识，并使用这些知识生成回答。将端到端方式分解后有三个优点：
- 与传统RG相比，生成的知识增强并约束了RG模型，使得模型产生更有信息量的回答；
- 与知识检索模型相比，在中间过程显式地生成知识基础，有可能归纳出在知识库范围外的知识，并且与回答生成过程产生协同作用；
- RG中显示生成地隐性知识，可以就模型生成回答的内在原因提供更好的可解释性。
这种新的RG范式有三个主要的挑战：
- 如何识别与多轮对话相关的隐性常识，以训练知识生成模块；
- 如何在自然语言中表示结构化的知识？
- 如何将知识和对话整合起来，同时又能在回答中区分出隐性和显性部分。
针对这三个问题，本文的主要解决思路是：
- 为了收集与每个对话实例相关的知识，以训练TBS生成模型，本文提出了一种弱监督方法，将知识与每个对话回合自动对齐。作者使用ConceptNet作为知识库，尝试不同的匹配方法，包括Hard-Matching和基于embedding相似度的Soft-Matching来识别隐性知识。
- 作者探索了几种方法，将结构化为三要素的知识格式化为自然语言，以便RG模型能够轻松适应知识+回答的生成任务。作者实验了结构化的三元组、转换为自然语言的三元组、以及一种更口语化的问答格式。
- 为了保证知识和对话之间的平稳过渡，本文使用特殊符号或提示语作为分隔符。
另外，为了评估TBS框架，本文引入了新的评价指标，以涵盖系统的不同方面，包括回答质量、知识质量，以及TBS模型如何利用生成的知识。作者对模型的不同变体进行了广泛人工评估。实验结果表明，与端到端RG模型和其他知识增强的模型（如知识选择）相比，TBS模型产生了更有信息量，更确切，更符合常识的回答。知识质量分析表明，至少有85%的生成知识是相关且有意义的，而且生成的知识库外的新知识也有很高的质量。
文章的主要创新点如下：
- 本文将端到端的RG模型分解，提出了一种回答生成模型的新范式，即首先显式地生成隐性知识，然后使用这些知识生成回答。
- 本文提出了一种弱监督方法来将知识与对话自动对齐。基于外部知识库作者提出了Hard-Matching和基于embedding相似度的Soft-Matching来识别隐性知识 。
- 本文提出了新的评价指标来衡量回答生成的质量、知识的质量以及模型利用知识的程度。TBS模型不仅比传统RG模型有更好的性能，还有更好的可解释性
