有效融合语言模型、图神经网络,文本图训练框架GLEM实现新SOTA

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 有效融合语言模型、图神经网络,文本图训练框架GLEM实现新SOTA


机器之心编辑部

蒙特利尔算法学习人工智能实验室(Mila)和微软亚洲研究院等单位提出文本图训练框架 GLEM [1],能够有效融合语言模型和图神经网络,取得 OGB 3 个数据集第一名。




引言



图 1:(a) 文本图 (b) 图神经网络 (c) 语言模型


图是一种普遍的数据结构,建模了节点之间的结构关系。在现实生活中,许多节点包含丰富的文本特征,这种图被称为文本图 (text-attributed graph [2])。例如,论文引用网络中包含了论文的文本和论文之间的引用关系;社交网络中包含了用户的文本描述和用户直接的交互关系。在文本图上的表示学习模型,可以应用于节点分类、链路预测等任务中,具有广泛的应用价值。


文本图包含了两方面信息:节点的文本信息和节点之间的图结构信息。传统文本图的建模可以分为对文本建模和对图建模两个角度。其中,对文本的建模方式(如图 1.b 所示)通常采用基于 Transformer 的语言模型(LM)得到单个节点的文本表示,并对目标任务进行预测;对图建模的建模方式(图 1.c 所示)通常采用图神经网络(GNN),通过消息传播机制来建模节点特征之间的交互,并预测目标任务。


然而,两种模型只能分别建模文本图中的文本和图结构:传统语言模型无法直接考虑结构信息,而图神经网络无法直接对原始文本信息进行建模。为了同时建模文本和图结构,研究者们尝试将语言模型和图神经网络融合起来,同时更新两个模型的参数。但是,现有工作 [2, 3] 无法同时建模大量邻居文本,可拓展性差,无法应用在大文本图上。


GLEM 框架


为了更有效的融合图神经网络和语言模型,本文提出了 Graph and  Language Learning by Expectation Maximization (GLEM) 框架。GLEM 框架基于变分期望最大算法(Variational EM),交替学习图神经网络和语言模型,从而获得了很好的可拓展性。


图 2:GLEM 框架


具体地,以节点分类任务为例,在 E 步 , GLEM 根据真实标签和图神经网络预测的伪标签训练语言模型;在 M 步 , GLEM 根据真实标签和语言模型预测的伪标签训练图神经网络。通过这种方式,GLEM 框架有效挖掘了局部的文本信息和全局的结构交互信息。通过 GLEM 框架训练好的图神经网络(GLEM-GNN)和语言模型(GLEM-LM)都可以用来预测节点标签。


实验


论文的实验部分主要从以下几个方面讨论 GLEM 框架:


  • 有效性:GLEM 模型能够有效融合图神经网络和语言模型,对两种模型都有明显提升。GLEM 框架在 OGB 的三个文本图节点分类任务上取得了第一名。
  • 可扩展性:通过交替训练图神经网络和语言模型,GLEM 框架可以同时训练大语言模型和深层 GNN。
  • 无结构归纳推理(Structure-free inductive)能力:传统 GNN 模型在面对没有图结构的新节点时表现不佳。相比之下,GLEM-LM 仅使用文本特征(无需图结构)就能进行有效推理。
  • 模型收敛:GLEM 使用 EM 迭代算法,在一些数据集上一次 EM 迭代即可收敛。


图 3:GLEM 框架在 OGBN-arxiv, products, papers100M 数据集上取得第一名


引用

[1] Zhao et al. Learning on Large-scale Text-attributed Graphs via Variational Inference. Arxiv Preprint '22.

[2] Yang et al. GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph. In NeurIPS '21.

[3] Zhu et al. TextGNN: Improving Text Encoder via Graph Neural Network in Sponsored Search. In WWW '21.


相关文章
|
19天前
|
机器学习/深度学习 算法 PyTorch
基于图神经网络的大语言模型检索增强生成框架研究:面向知识图谱推理的优化与扩展
本文探讨了图神经网络(GNN)与大型语言模型(LLM)结合在知识图谱问答中的应用。研究首先基于G-Retriever构建了探索性模型,然后深入分析了GNN-RAG架构,通过敏感性研究和架构改进,显著提升了模型的推理能力和答案质量。实验结果表明,改进后的模型在多个评估指标上取得了显著提升,特别是在精确率和召回率方面。最后,文章提出了反思机制和教师网络的概念,进一步增强了模型的推理能力。
49 4
基于图神经网络的大语言模型检索增强生成框架研究:面向知识图谱推理的优化与扩展
|
2月前
|
人工智能 自然语言处理
WebDreamer:基于大语言模型模拟网页交互增强网络规划能力的框架
WebDreamer是一个基于大型语言模型(LLMs)的网络智能体框架,通过模拟网页交互来增强网络规划能力。它利用GPT-4o作为世界模型,预测用户行为及其结果,优化决策过程,提高性能和安全性。WebDreamer的核心在于“做梦”概念,即在实际采取行动前,用LLM预测每个可能步骤的结果,并选择最有可能实现目标的行动。
64 1
WebDreamer:基于大语言模型模拟网页交互增强网络规划能力的框架
|
1月前
|
存储 安全 网络安全
云计算与网络安全:技术融合的双刃剑
在数字化浪潮中,云计算如同一股不可阻挡的力量,推动着企业和个人用户步入一个高效、便捷的新时代。然而,随之而来的网络安全问题也如影随形,成为制约云计算发展的阿喀琉斯之踵。本文将探讨云计算服务中的网络安全挑战,揭示信息保护的重要性,并提供实用的安全策略,旨在为读者呈现一场技术与安全的较量,同时指出如何在享受云服务带来的便利的同时,确保数据的安全和隐私。
27 6
|
30天前
|
存储 人工智能 安全
云计算与网络安全:技术融合与挑战
在数字化时代的浪潮中,云计算和网络安全已成为推动社会进步的两大关键技术。本文将探讨云计算服务的发展,网络安全的重要性,以及信息安全技术的演进。我们将通过实例分析,揭示云服务如何增强数据保护,网络安全措施如何应对新兴威胁,以及信息安全技术的创新如何为企业带来竞争优势。文章旨在为读者提供对云计算和网络安全领域的深入理解,并展示它们如何共同塑造我们的未来。
|
1月前
|
存储 监控 安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
本文将探讨云计算与网络安全之间的关系,以及它们在云服务、网络安全和信息安全等技术领域中的融合与挑战。我们将分析云计算的优势和风险,以及如何通过网络安全措施来保护数据和应用程序。我们还将讨论如何确保云服务的可用性和可靠性,以及如何处理网络攻击和数据泄露等问题。最后,我们将提供一些关于如何在云计算环境中实现网络安全的建议和最佳实践。
|
1月前
|
SQL 安全 算法
网络安全的盾牌:漏洞防护与加密技术的融合之道
在数字化浪潮中,网络安全成为维护信息完整性、保障个人隐私的关键。本文深入探讨网络漏洞的产生机理和防御策略,揭示加密技术的核心原理及其在信息安全中的重要角色。通过分析安全意识的培养方法,文章旨在提升大众对网络安全的认知水平,促进一个更加安全的网络环境。
|
1月前
|
存储 安全 网络安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
随着云计算技术的飞速发展,越来越多的企业和个人开始使用云服务。然而,云计算的广泛应用也带来了一系列网络安全问题。本文将从云服务、网络安全、信息安全等方面探讨云计算与网络安全的关系,分析当前面临的挑战,并提出相应的解决方案。
63 3
|
2月前
|
机器学习/深度学习 自然语言处理 语音技术
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
71 8
|
2月前
|
存储 安全 网络安全
云计算与网络安全:技术融合与安全挑战
随着云计算技术的飞速发展,其在各行各业的应用日益广泛。然而,随之而来的网络安全问题也日益凸显,成为制约云计算发展的重要因素。本文将从云服务、网络安全、信息安全等方面探讨云计算与网络安全的关系,分析云计算环境下的网络安全挑战,并提出相应的解决方案。
|
2月前
|
存储 安全 网络安全
云计算与网络安全:技术融合的双刃剑
本文深入探讨了云计算和网络安全之间的复杂关系。通过分析云服务的基本架构,我们揭示了它们在提供便利的同时,如何引入新的安全挑战。文章不仅讨论了这些挑战,还提供了应对策略,旨在帮助读者理解并加强他们的网络安全防护。

热门文章

最新文章