CIKM 2024:LLM蒸馏到GNN,性能提升6.2%!Emory提出大模型蒸馏到文本图

简介: 【9月更文挑战第17天】在CIKM 2024会议上,Emory大学的研究人员提出了一种创新框架,将大型语言模型(LLM)的知识蒸馏到图神经网络(GNN)中,以克服文本图(TAGs)学习中的数据稀缺问题。该方法通过LLM生成文本推理,并训练解释器模型理解这些推理,再用学生模型模仿此过程。实验显示,在四个数据集上性能平均提升了6.2%,但依赖于LLM的质量和高性能。论文链接:https://arxiv.org/pdf/2402.12022

在最近的CIKM 2024会议上,来自Emory大学的研究人员提出了一种新颖的框架,旨在将大型语言模型(LLM)的知识蒸馏到图神经网络(GNN)中,以提升文本图的性能。这项研究的目标是解决在文本图学习中,由于数据稀缺或不可用而导致的训练困难。

文本图(Text-Attributed Graphs,TAGs)是一种图结构数据,其中每个节点都与一个文本实体相关联,如文档,而边则表示这些节点之间的关系。由于TAGs同时包含了语义内容和结构关系,因此在许多领域中都有广泛的应用,如引文网络、电子商务网络、社交媒体、推荐系统和网页分析等。

然而,训练GNN通常需要大量的标签数据,这在许多实际应用中是难以获得的。为了解决这个问题,研究人员提出了一种利用LLM进行知识蒸馏的方法。LLM在处理文本数据时表现出了出色的能力,包括在少量或零样本学习中。然而,由于可扩展性、成本和隐私问题,直接使用LLM进行TAG学习可能并不实际。

为了解决这些问题,研究人员提出了一种将LLM的知识蒸馏到本地GNN模型的框架。他们首先使用LLM来生成丰富的文本推理,然后训练一个解释器模型,该模型能够理解和应用这些推理。接下来,他们使用一个学生模型来模仿解释器的推理过程,而无需依赖LLM的文本推理。

为了实现这一目标,研究人员提出了一种将文本推理转换为文本级、结构级和消息级推理的方法,以增强解释器模型的特征。他们还使用LLM生成的伪标签和软标签作为监督信号来训练解释器模型。此外,他们还提出了一种语义和结构感知的TAG模型对齐方法,以确保学生模型能够更好地与教师模型对齐。

实验结果表明,该框架在四个数据集上取得了显著的性能提升,平均提升了6.2%。此外,该框架还具有潜在的预训练能力,可以在标准的监督学习设置下用于模型预训练。

然而,该方法也存在一些限制。首先,它依赖于LLM的设计和能力,这可能会影响生成的推理的质量。其次,它需要使用高性能的LLM,如GPT-3.5或GPT-4,以确保生成的推理是合理的。

论文链接:https://arxiv.org/pdf/2402.12022

目录
相关文章
|
弹性计算 关系型数据库 API
自建Dify平台与PAI EAS LLM大模型
本文介绍了如何使用阿里云计算巢(ECS)一键部署Dify,并在PAI EAS上搭建LLM、Embedding及重排序模型,实现知识库支持的RAG应用。内容涵盖Dify初始化、PAI模型部署、API配置及RAG知识检索设置。
自建Dify平台与PAI EAS LLM大模型
|
人工智能 缓存 自然语言处理
Java与多模态AI:构建支持文本、图像和音频的智能应用
随着大模型从单一文本处理向多模态能力演进,现代AI应用需要同时处理文本、图像、音频等多种信息形式。本文深入探讨如何在Java生态中构建支持多模态AI能力的智能应用。我们将完整展示集成视觉模型、语音模型和语言模型的实践方案,涵盖从文件预处理、多模态推理到结果融合的全流程,为Java开发者打开通往下一代多模态AI应用的大门。
801 41
|
自然语言处理 安全
Min-p采样:通过动态调整截断阈值让大模型文本生成兼顾创造力与逻辑性
大语言模型通过预测下一个词生成文本,采样策略决定其创造力与连贯性。Min-p采样根据模型置信度动态调整选择阈值,在高不确定性时扩大候选范围,低不确定性时聚焦高概率词,相较Top-k、Top-p等方法,更好平衡了多样性与质量,尤其在高温下仍保持输出稳定,提升生成文本的流畅性与创新性。
649 3
|
人工智能 自然语言处理 自动驾驶
超越文本:多模态大语言模型如何让AI“看世界
超越文本:多模态大语言模型如何让AI“看世界
|
机器学习/深度学习 人工智能 编解码
AI-Compass LLM合集-多模态模块:30+前沿大模型技术生态,涵盖GPT-4V、Gemini Vision等国际领先与通义千问VL等国产优秀模型
AI-Compass LLM合集-多模态模块:30+前沿大模型技术生态,涵盖GPT-4V、Gemini Vision等国际领先与通义千问VL等国产优秀模型
AI-Compass LLM合集-多模态模块:30+前沿大模型技术生态,涵盖GPT-4V、Gemini Vision等国际领先与通义千问VL等国产优秀模型
|
人工智能 自然语言处理 数据可视化
AI-Compass LLM评估框架:CLiB中文大模型榜单、OpenCompass司南、RAGas、微软Presidio等构建多维度全覆盖评估生态系统
AI-Compass LLM评估框架:CLiB中文大模型榜单、OpenCompass司南、RAGas、微软Presidio等构建多维度全覆盖评估生态系统
 AI-Compass LLM评估框架:CLiB中文大模型榜单、OpenCompass司南、RAGas、微软Presidio等构建多维度全覆盖评估生态系统
|
机器学习/深度学习 存储 人工智能
深度解析大模型压缩技术:搞懂深度学习中的减枝、量化、知识蒸馏
本文系统解析深度学习模型压缩三大核心技术:剪枝、量化与知识蒸馏,详解如何实现模型缩小16倍、推理加速4倍。涵盖技术原理、工程实践与组合策略,助力AI模型高效部署至边缘设备。
2585 2
|
机器学习/深度学习 人工智能 自然语言处理
15_批量处理文本:LLM在数据集上的应用
在大语言模型(LLM)的实际应用中,我们很少只处理单条文本。无论是数据分析、内容生成还是模型训练,都需要面对海量文本数据的处理需求。批量处理技术是连接LLM与实际应用场景的关键桥梁,它能够显著提升处理效率、降低计算成本,并实现更复杂的数据流水线设计。
488 0
|
监控 安全 Docker
10_大模型开发环境:从零搭建你的LLM应用平台
在2025年,大语言模型(LLM)已经成为AI应用开发的核心基础设施。无论是企业级应用、科研项目还是个人创新,拥有一个高效、稳定、可扩展的LLM开发环境都至关重要。
1476 0

热门文章

最新文章