大型语言模型与知识图谱协同研究综述：两大技术优势互补（1）-阿里云开发者社区

多图综述理清当前研究现状，这篇 29 页的论文值得一读。

大型语言模型（LLM）已经很强了，但还可以更强。通过结合知识图谱，LLM 有望解决缺乏事实知识、幻觉和可解释性等诸多问题；而反过来 LLM 也能助益知识图谱，让其具备强大的文本和语言理解能力。而如果能将两者充分融合，我们也许还能得到更加全能的人工智能。

今天我们将介绍一篇综述 LLM 与知识图谱联合相关研究的论文，其中既包含用知识图谱增强 LLM 的研究进展，也有用 LLM 增强知识图谱的研究成果，还有 LLM 与知识图谱协同的最近成果。文中概括性的框架展示非常方便读者参考。

论文：https://arxiv.org/abs/2306.08302v1

BERT、RoBERTA 和 T5 等在大规模语料库上预训练的大型语言模型（LLM）已经能非常优秀地应对多种自然语言处理（NLP）任务，比如问答、机器翻译和文本生成。近段时间，随着模型规模的急剧增长，LLM 还进一步获得了涌现能力，开拓了将 LLM 用作通用人工智能（AGI）的道路。ChatGPT 和 PaLM2 等先进的 LLM 具有数百上千亿个参数，它们已有潜力解决许多复杂的实际任务，比如教育、代码生成和推荐。

尽管 LLM 已有许多成功应用，但由于缺乏事实知识，它们还是备受诟病。具体来说，LLM 会记忆训练语料库中包含的事实和知识。但是，进一步的研究表明，LLM 无法回忆出事实，而且往往还会出现幻觉问题，即生成具有错误事实的表述。举个例子，如果向 LLM 提问：「爱因斯坦在什么时候发现了引力？」它可能会说：「爱因斯坦在 1687 年发现了引力。」但事实上，提出引力理论的人是艾萨克・牛顿。这种问题会严重损害 LLM 的可信度。

LLM 是黑箱模型，缺乏可解释性，因此备受批评。LLM 通过参数隐含地表示知识。因此，我们难以解释和验证 LLM 获得的知识。此外，LLM 是通过概率模型执行推理，而这是一个非决断性的过程。对于 LLM 用以得出预测结果和决策的具体模式和功能，人类难以直接获得详情和解释。尽管通过使用思维链（chain-of-thought），某些 LLM 具备解释自身预测结果的功能，但它们推理出的解释依然存在幻觉问题。这会严重影响 LLM 在事关重大的场景中的应用，比如医疗诊断和法律评判。举个例子，在医疗诊断场景中，LLM 可能误诊并提供与医疗常识相悖的解释。这就引出了另一个问题：在一般语料库上训练的 LLM 由于缺乏特定领域的知识或新训练数据，可能无法很好地泛化到特定领域或新知识上。

为了解决上述问题，一个潜在的解决方案是将知识图谱（KG）整合进 LLM 中。知识图谱能以三元组的形式存储巨量事实，即 (头实体、关系、尾实体)，因此知识图谱是一种结构化和决断性的知识表征形式，例子包括 Wikidata、YAGO 和 NELL。知识图谱对多种应用而言都至关重要，因为其能提供准确、明确的知识。此外众所周知，它们还具有很棒的符号推理能力，这能生成可解释的结果。知识图谱还能随着新知识的持续输入而积极演进。此外，通过让专家来构建特定领域的知识图谱，就能具备提供精确可靠的特定领域知识的能力。

然而，知识图谱很难构建，并且由于真实世界知识图谱往往是不完备的，还会动态变化，因此当前的知识图谱方法难以应对。这些方法无法有效建模未见过的实体以及表征新知识。此外，知识图谱中丰富的文本信息往往会被忽视。不仅如此，知识图谱的现有方法往往是针对特定知识图谱或任务定制的，泛化能力不足。因此，有必要使用 LLM 来解决知识图谱面临的挑战。图 1 总结了 LLM 和知识图谱的优缺点。

图 1：LLM 和知识图谱的优缺点总结。

如图所示，LLM 的优点：一般知识、语言处理、泛化能力。LLM 的缺点：隐含知识、幻觉问题、无法决断问题、黑箱、缺乏特定领域的知识和新知识。知识图谱的优点：结构化的知识、准确度、决断能力、可解释性、特定领域的知识、知识演进。知识图谱的缺点：不完备性、缺乏语言理解、未见过的知识。

近段时间，将 LLM 和知识图谱联合起来的可能性受到了越来越多研究者和实践者关注。LLM 和知识图谱本质上是互相关联的，并且能彼此互相强化。如果用知识图谱增强 LLM，那么知识图谱不仅能被集成到 LLM 的预训练和推理阶段，从而用来提供外部知识，还能被用来分析 LLM 以提供可解释性。而在用 LLM 来增强知识图谱方面，LLM 已被用于多种与知识图谱相关的应用，比如知识图谱嵌入、知识图谱补全、知识图谱构建、知识图谱到文本的生成、知识图谱问答。LLM 能够提升知识图谱的性能并助益其应用。在 LLM 与知识图谱协同的相关研究中，研究者将 LLM 和知识图谱的优点融合，让它们在知识表征和推理方面的能力得以互相促进。

这篇论文将在联合 LLM 与知识图谱方面提供一个前瞻性的路线图，帮助读者了解如何针对不同的下游任务，利用它们各自的优势，克服各自的局限。其中包含详细的分类和全面的总结，并指出了这些快速发展的领域的新兴方向。本文的主要贡献包括：

1, 路线图：文中提供了一份 LLM 和知识图谱整合方面的前瞻性路线图。这份路线图包含联合 LLM 与知识图谱的三个概括性框架：用知识图谱增强 LLM、用 LLM 增强知识图谱、LLM 与知识图谱协同。可为联合这两种截然不同但互补的技术提供指导方针。

2, 分类和总结评估：对于该路线图中的每种整合模式，文中都提供了详细的分类和全新的分类法。对于每种类别，文中都从不同整合策略和任务角度总结评估了相关研究工作，从而能为每种框架提供更多见解。

3, 涵盖了新进展：文中覆盖了 LLM 和知识图谱的先进技术。其中讨论了 ChatGPT 和 GPT-4 等当前最先进的 LLM 以及多模态知识图谱等知识图谱新技术。

4, 挑战和未来方向：文中也会给出当前研究面临的挑战并给出一些有潜力的未来研究方向。

LLM 和知识图谱基础知识

大型语言模型（LLM）

在大规模语料库上预训练的 LLM 可以解决多种 NLP 任务，拥有巨大潜力。如图 3 所示，大多数 LLM 都源自 Transformer 设计，其中包含编码器和解码器模块，并采用了自注意力机制。LLM 可以根据架构不同而分为三大类别：仅编码器 LLM、编码器 - 解码器 LLM、仅解码器 LLM。图 2 总结了一些代表性 LLM，涉及不同架构、模型大小和是否开源。

图 2：近些年有代表性的 LLM。实心方框表示开源模型，空心方框则是闭源模型。

图 3：基于 Transformer 并使用了自注意力机制的 LLM 的示意图。

prompt 工程设计

prompt 工程设计是一个全新领域，其关注的是创建和优化 prompt，从而让 LLM 能最有效地应对各种不同应用和研究领域。如图 4 所示，prompt 是 LLM 的自然语言输入序列，需要针对具体任务（如情绪分类）创建。prompt 可包含多个元素，即：指示、背景信息、输入文本。指示是告知模型执行某特定任务的短句。背景信息为输入文本或少样本学习提供相关的信息。输入文本是需要模型处理的文本。

图 4：一个情绪分类 prompt 的示例。

prompt 工程设计的目标是提升 LLM 应对多样化复杂任务的能力，如问答、情绪分类和常识推理。思维链（CoT）prompt 是通过中间推理步骤来实现复杂推理。另一种方法则是通过整合外部知识来设计更好的知识增强型 prompt。自动化 prompt 工程（APE）则是一种可以提升 LLM 性能的 prompt 自动生成方法。prompt 让人无需对 LLM 进行微调就能利用 LLM 的潜力。掌握 prompt 工程设计能让人更好地理解 LLM 的优劣之处。

知识图谱（KG）

知识图谱则是以 (实体、关系、实体) 三元组集合的方式来存储结构化知识。根据所存储信息的不同，现有的知识图谱可分为四大类：百科知识型知识图谱、常识型知识图谱、特定领域型知识图谱、多模态知识图谱。图 5 展示了不同类别知识图谱的例子。