【论文原文】：Joint Language Semantic and Structure Embedding for Knowledge Graph Completion
【作者信息】：Jianhao Shen,Chenguang Wang,Linyuan Gong,Dawn Song
论文：https://arxiv.org/pdf/2209.08721.pdf 代码：https://github.com/pkusjh/LASS
博主关键词：链路预测、语义信息、结构信息、预训练微调
推荐论文：无
摘要
补全知识三元组的任务具有广泛的下游应用。结构信息和语义信息在知识图补全中都起着重要作用。与以往依赖知识图谱的结构或语义的方法不同，我们提出将语义与知识三元组的结构信息联合嵌入到知识三元组的自然语言描述中。我们的方法通过针对概率结构化损失微调预训练的语言模型，为补全任务嵌入知识图，其中语言模型的前向传递捕获语义，损失重建结构。我们在各种知识图谱基准上的大量实验已经证明了我们方法的最先进的。我们还表明，由于更好地使用语义，我们的方法可以在低资源状态下显著提高性能。
简介
知识图谱(KG)，如Wikidata和Freebase (Bollacker et al, 2008)，由事实三元组组成。KG对人类和机器都是有用的资源。(头实体，关系，尾实体)形式的三元组，其中关系涉及头和尾实体，已被用于各种各样的应用，例如问题回答(Guu et al;Hao等人，2017)和网络搜索(Xiong等人，2017)。不完整性一直是KG中的一个长期问题(Carlson et al, 2010)，阻碍了其在现实应用中的广泛采用。
KG补全旨在预测事实三元组中缺失的实体或关系。现有三元组中的结构模式有助于预测缺失的元素(Bordes et al, 2013;Sun等人，2019)。例如，可以学习组合模式，根据两个连续的mother_Of关系预测关系grandmother_Of。除了结构信息，实体和关系之间的语义相关性对于推断具有相似含义的实体或关系也是至关重要的(An et al, 2018;Yao等，2019;Wang et al, 2021)。例如，如果两个实体之间存在关系CEO_Of，则关系employee_Of也存在。有两种KG补全方法，属于不同的学习范式。首先，基于结构的方法将实体和关系视为节点和边，并使用图嵌入方法来学习它们的表示。其次，基于语义的方法通过语言模型对实体和关系的文本描述进行编码。虽然结构和语义对KG的补全都很重要，但现有方法同时处理结构和语义信息并非易事。
在本文中，我们提出了一种用于知识图补全的联合语言语义和结构嵌入方法——LASS，它将语义和结构结合在一个KG三元组中。LASS通过微调预训练语言模型(LM)，将一个三元组嵌入到一个向量空间中。LASS包括语义嵌入和结构嵌入。语义嵌入捕获三元组的语义，这对应于预先训练的LM对三元组的自然语言描述的向前传递。结构嵌入的目的是重构语义嵌入中的结构，语义嵌入对应于通过LM的反向传播优化概率结构损失。直观地说，结构化损失将两个实体之间的关系视为实体嵌入之间的转换。在一系列KG补全基准测试中，LASS的表现优于现有方法。我们进一步评估了低资源环境下的LASS，发现它比其他方法数据效率更高。原因是我们的方法在训练数据中利用了语义信息和结构信息。
我们的主要贡献：
- 我们设计了一种自然语言嵌入方法LASS，该方法集成了KG的结构信息和语义信息，用于KG补全。我们通过微调预训练的LMs w.r.t.结构化损失来训练LASS，其中LMs的前向传递捕获语义，损失重建结构。该方法由KG模块和LM模块组成，揭示了KG模块与深度语言表示之间的联系，推进了这两个领域交叉的研究。
- 我们在两个KG补全任务，链路预测和三重组分类上评估了LASS，并获得了最先进的性能。研究结果表明，语义和结构的捕获对于理解KG至关重要，研究结果对许多下游知识驱动应用都有帮助。
- 我们表明，与现有方法相比，我们可以显著提高低资源设置下的性能，这要归功于语义知识的改进迁移。
2、LASS
我们介绍LASS，用自然语言嵌入知识图谱的语义和结构。如图1所示，LASS包含了两种嵌入:语义嵌入和结构嵌入。语义嵌入捕获了KG三元组自然语言描述中的语义。结构嵌入在语义嵌入的基础上进一步重构了KG的结构信息。LASS通过对预训练好的语言模型(LM) w.r.t.结构化损失进行微调，将KG嵌入到向量空间中，其中前向传递进行语义嵌入，结构化损失优化进行结构嵌入。
一个三元组KG记为G, G的每个三元组以( h , r , t )的形式表示，其中h , t ∈ E , r ∈ R。E是实体的集合，R 是关系的集合。头实体h、关系r和尾实体t之间的语义相似性对于补全一个事实三元组至关重要。例如，给定h=" Bob Dylan "和r=" was born in "，任务是预测缺失的t ，其中候选是" Duluth "和" Apple "。“Bob Dylan”和“Duluth”之间的语义相似度，以及“was born in”和“Duluth”之间的相似度应该比“Apple”之间的相似度要大，因为“Duluth”是标准的答案。预训练的LMs通过对大规模文本语料库的预训练来捕获自然语言中丰富的语义。这启发我们使用存储在LM参数中的语义来编码三元组的语义。
3、实验
实验结果
我们还注意到，LASS在FB15k-237上只产生了适度的Hits@10。主要原因是，与表1所示的其他链路预测数据集相比，FB15k-237呈现出更复杂的实体之间的关系。因此，更复杂的结构性损失有望使LASS获得进一步的改善。
【论文速递 | 精选】
