CIKM 2024：LLM蒸馏到GNN，性能提升6.2%！Emory提出大模型蒸馏到文本图

在最近的CIKM 2024会议上，来自Emory大学的研究人员提出了一种新颖的框架，旨在将大型语言模型（LLM）的知识蒸馏到图神经网络（GNN）中，以提升文本图的性能。这项研究的目标是解决在文本图学习中，由于数据稀缺或不可用而导致的训练困难。

文本图（Text-Attributed Graphs，TAGs）是一种图结构数据，其中每个节点都与一个文本实体相关联，如文档，而边则表示这些节点之间的关系。由于TAGs同时包含了语义内容和结构关系，因此在许多领域中都有广泛的应用，如引文网络、电子商务网络、社交媒体、推荐系统和网页分析等。

然而，训练GNN通常需要大量的标签数据，这在许多实际应用中是难以获得的。为了解决这个问题，研究人员提出了一种利用LLM进行知识蒸馏的方法。LLM在处理文本数据时表现出了出色的能力，包括在少量或零样本学习中。然而，由于可扩展性、成本和隐私问题，直接使用LLM进行TAG学习可能并不实际。

为了解决这些问题，研究人员提出了一种将LLM的知识蒸馏到本地GNN模型的框架。他们首先使用LLM来生成丰富的文本推理，然后训练一个解释器模型，该模型能够理解和应用这些推理。接下来，他们使用一个学生模型来模仿解释器的推理过程，而无需依赖LLM的文本推理。

为了实现这一目标，研究人员提出了一种将文本推理转换为文本级、结构级和消息级推理的方法，以增强解释器模型的特征。他们还使用LLM生成的伪标签和软标签作为监督信号来训练解释器模型。此外，他们还提出了一种语义和结构感知的TAG模型对齐方法，以确保学生模型能够更好地与教师模型对齐。

实验结果表明，该框架在四个数据集上取得了显著的性能提升，平均提升了6.2%。此外，该框架还具有潜在的预训练能力，可以在标准的监督学习设置下用于模型预训练。

然而，该方法也存在一些限制。首先，它依赖于LLM的设计和能力，这可能会影响生成的推理的质量。其次，它需要使用高性能的LLM，如GPT-3.5或GPT-4，以确保生成的推理是合理的。

论文链接：https://arxiv.org/pdf/2402.12022