在人工智能领域,图机器学习(Graph Machine Learning)作为一种重要的技术手段,被广泛应用于社交网络、生物信息学、推荐系统等多个领域。近年来,随着大型语言模型(Large Language Models,LLMs)的兴起,它们在自然语言处理等领域展现出了卓越的能力。这些模型不仅在语言理解、文本生成等方面取得了突破性进展,更在图机器学习领域展现出了巨大的潜力。香港大学的黄超教授团队在KDD 2024会议上发表的论文《A Survey of Large Language Models for Graphs》,深入探讨了LLMs在图机器学习领域的应用现状和未来发展。
图机器学习的核心在于理解和处理图结构数据,而LLMs的加入为这一领域带来了新的视角。黄超团队的研究表明,通过将LLMs与图神经网络(Graph Neural Networks,GNNs)结合,可以有效提升模型在节点分类、链接预测等图中心任务上的性能。这种结合不仅提高了模型对图结构的感知能力,还增强了其泛化能力,尤其是在处理稀疏数据或新图结构时。
该论文提出了一种新的分类法,将现有的LLMs在图学习中的应用分为四类:GNNs作为前缀、LLMs作为前缀、LLMs与图集成以及仅使用LLMs。这种分类不仅有助于理解不同方法的设计框架,还为未来研究方向提供了清晰的指导。例如,GNNs作为前缀的方法通过将图数据编码为结构感知的标记序列,为LLMs提供了丰富的输入信息;而LLMs作为前缀的方法则利用LLMs生成的嵌入或标签来优化GNNs的训练。
黄超团队的研究在肯定LLMs在图机器学习领域潜力的同时,也指出了当前方法的局限性。例如,尽管LLMs在理解自然语言方面表现出色,但它们在处理非文本属性的图数据时可能面临挑战。此外,LLMs与GNNs的最佳协调方式仍然是一个未解决的问题,需要进一步的研究来探索两者如何在架构和训练上实现最优融合。
论文还探讨了未来的研究方向,包括多模态图数据的处理、计算成本的降低、不同图任务的解决以及用户中心的图智能代理的开发。这些方向不仅为研究者提供了新的思考角度,也为图机器学习领域的技术进步指明了道路。