【论文速递】COLING 2022 - 联合语言语义和结构嵌入用于知识图补全

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_基础版,每接口每天50万次
NLP自然语言处理_高级版,每接口累计50万次
简介: 补全知识三元组的任务具有广泛的下游应用。结构信息和语义信息在知识图补全中都起着重要作用。与以往依赖知识图谱的结构或语义的方法不同

【论文原文】:Joint Language Semantic and Structure Embedding for Knowledge Graph Completion


【作者信息】:Jianhao Shen,Chenguang Wang,Linyuan Gong,Dawn Song


论文:https://arxiv.org/pdf/2209.08721.pdf
代码:https://github.com/pkusjh/LASS


博主关键词:链路预测、语义信息、结构信息、预训练微调


推荐论文:无


摘要


补全知识三元组的任务具有广泛的下游应用。结构信息和语义信息在知识图补全中都起着重要作用。与以往依赖知识图谱的结构或语义的方法不同,我们提出将语义与知识三元组的结构信息联合嵌入到知识三元组的自然语言描述中。我们的方法通过针对概率结构化损失微调预训练的语言模型,为补全任务嵌入知识图,其中语言模型的前向传递捕获语义,损失重建结构。我们在各种知识图谱基准上的大量实验已经证明了我们方法的最先进的。我们还表明,由于更好地使用语义,我们的方法可以在低资源状态下显著提高性能。


简介


知识图谱(KG),如Wikidata和Freebase (Bollacker et al, 2008),由事实三元组组成。KG对人类和机器都是有用的资源。(头实体,关系,尾实体)形式的三元组,其中关系涉及头和尾实体,已被用于各种各样的应用,例如问题回答(Guu et al;Hao等人,2017)和网络搜索(Xiong等人,2017)。不完整性一直是KG中的一个长期问题(Carlson et al, 2010),阻碍了其在现实应用中的广泛采用。


KG补全旨在预测事实三元组中缺失的实体或关系。现有三元组中的结构模式有助于预测缺失的元素(Bordes et al, 2013;Sun等人,2019)。例如,可以学习组合模式,根据两个连续的mother_Of关系预测关系grandmother_Of。除了结构信息,实体和关系之间的语义相关性对于推断具有相似含义的实体或关系也是至关重要的(An et al, 2018;Yao等,2019;Wang et al, 2021)。例如,如果两个实体之间存在关系CEO_Of,则关系employee_Of也存在。有两种KG补全方法,属于不同的学习范式。首先,基于结构的方法将实体和关系视为节点和边,并使用图嵌入方法来学习它们的表示。其次,基于语义的方法通过语言模型对实体和关系的文本描述进行编码。虽然结构和语义对KG的补全都很重要,但现有方法同时处理结构和语义信息并非易事。


在本文中,我们提出了一种用于知识图补全的联合语言语义和结构嵌入方法——LASS,它将语义和结构结合在一个KG三元组中。LASS通过微调预训练语言模型(LM),将一个三元组嵌入到一个向量空间中。LASS包括语义嵌入和结构嵌入。语义嵌入捕获三元组的语义,这对应于预先训练的LM对三元组的自然语言描述的向前传递。结构嵌入的目的是重构语义嵌入中的结构,语义嵌入对应于通过LM的反向传播优化概率结构损失。直观地说,结构化损失将两个实体之间的关系视为实体嵌入之间的转换。在一系列KG补全基准测试中,LASS的表现优于现有方法。我们进一步评估了低资源环境下的LASS,发现它比其他方法数据效率更高。原因是我们的方法在训练数据中利用了语义信息和结构信息。


我们的主要贡献:


  • 我们设计了一种自然语言嵌入方法LASS,该方法集成了KG的结构信息和语义信息,用于KG补全。我们通过微调预训练的LMs w.r.t.结构化损失来训练LASS,其中LMs的前向传递捕获语义,损失重建结构。该方法由KG模块和LM模块组成,揭示了KG模块与深度语言表示之间的联系,推进了这两个领域交叉的研究。


  • 我们在两个KG补全任务,链路预测和三重组分类上评估了LASS,并获得了最先进的性能。研究结果表明,语义和结构的捕获对于理解KG至关重要,研究结果对许多下游知识驱动应用都有帮助。


  • 我们表明,与现有方法相比,我们可以显著提高低资源设置下的性能,这要归功于语义知识的改进迁移。


2、LASS


我们介绍LASS,用自然语言嵌入知识图谱的语义和结构。如图1所示,LASS包含了两种嵌入:语义嵌入和结构嵌入。语义嵌入捕获了KG三元组自然语言描述中的语义。结构嵌入在语义嵌入的基础上进一步重构了KG的结构信息。LASS通过对预训练好的语言模型(LM) w.r.t.结构化损失进行微调,将KG嵌入到向量空间中,其中前向传递进行语义嵌入,结构化损失优化进行结构嵌入。


81db70cdd0d541c9a5472b01aca911d6.png


一个三元组KG记为G, G的每个三元组以( h , r , t )的形式表示,其中h , t ∈ E , r ∈ R。E是实体的集合,R 是关系的集合。头实体h、关系r和尾实体t之间的语义相似性对于补全一个事实三元组至关重要。例如,给定h=" Bob Dylan "和r=" was born in ",任务是预测缺失的t ,其中候选是" Duluth "和" Apple "。“Bob Dylan”和“Duluth”之间的语义相似度,以及“was born in”和“Duluth”之间的相似度应该比“Apple”之间的相似度要大,因为“Duluth”是标准的答案。预训练的LMs通过对大规模文本语料库的预训练来捕获自然语言中丰富的语义。这启发我们使用存储在LM参数中的语义来编码三元组的语义。


image.png


3、实验


实验结果


9fbb1108422d4259b1bd0253ffe57d37.png

7546963b9bf343ea861d51ea7b7e88ee.png

26b94c96dffd4372b9deb295ecdc9984.png

e09d70281ce94f2ea50516bdd3f98fd5.png


我们还注意到,LASS在FB15k-237上只产生了适度的Hits@10。主要原因是,与表1所示的其他链路预测数据集相比,FB15k-237呈现出更复杂的实体之间的关系。因此,更复杂的结构性损失有望使LASS获得进一步的改善。


2654f4c6db774450a68840aeffb64116.png


dffe911ad49f457ab7421a8228a4532a.png


【论文速递 | 精选】



论坛地址https://bbs.csdn.net/forums/paper

目录
相关文章
|
SQL 数据可视化 Java
DBeaver数据库可视化工具
DBeaver数据库可视化工具
609 3
|
JavaScript 前端开发 C++
QML信号与信号槽实践指南:轻松掌握现代软件开发的关键技术(二)
QML信号与信号槽实践指南:轻松掌握现代软件开发的关键技术
566 0
|
10月前
|
机器学习/深度学习 传感器 算法
智能机器人在工业自动化中的应用与前景###
本文探讨了智能机器人在工业自动化领域的最新应用,包括其在制造业中的集成、操作灵活性和成本效益等方面的优势。通过分析当前技术趋势和案例研究,预测了智能机器人未来的发展方向及其对工业生产模式的潜在影响。 ###
648 9
|
8月前
|
SQL Java 数据库连接
对Spring、SpringMVC、MyBatis框架的介绍与解释
Spring 框架提供了全面的基础设施支持,Spring MVC 专注于 Web 层的开发,而 MyBatis 则是一个高效的持久层框架。这三个框架结合使用,可以显著提升 Java 企业级应用的开发效率和质量。通过理解它们的核心特性和使用方法,开发者可以更好地构建和维护复杂的应用程序。
376 29
|
11月前
|
机器学习/深度学习 人工智能 算法
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-15
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-15
311 1
|
11月前
|
运维 负载均衡 监控
提升系统性能:高效运维的秘密武器——负载均衡技术
在当今数字化时代,系统的高可用性和高性能成为各类企业和组织追求的目标。本文旨在探讨负载均衡技术在运维工作中的关键作用,通过深入分析其原理、类型及实际应用案例,揭示如何利用这项技术优化资源分配,提高系统的响应速度和可靠性,确保用户体验的稳定与流畅。无论是面对突如其来的高流量冲击,还是日常的运维管理,负载均衡都展现出了不可或缺的重要性,成为现代IT架构中的基石之一。
610 4
|
人工智能 自然语言处理 前端开发
关于ToB垂直领域大模型的一点探索和尝试
本文分享了物流技术团队在垂直领域大模型开发和部署过程中的技术细节、挑战解决策略以及实际应用案例。
|
存储 Linux 数据中心
【Azure 环境】在Windows系统中 使用Terraform创建中国区Azure资源步骤(入门级)
【Azure 环境】在Windows系统中 使用Terraform创建中国区Azure资源步骤(入门级)
167 0
|
存储 NoSQL 数据库
使用知识图谱提高RAG的能力,减少大模型幻觉
在使用大型语言模型(llm)时,幻觉是一个常见的问题。LLM生成流畅连贯的文本,但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源,如数据库或知识图谱。
431 5