GNN如何建模时空信息?伦敦玛丽女王大学「时空图神经网络」综述,简明阐述时空图神经网络方法

简介: GNN如何建模时空信息?伦敦玛丽女王大学「时空图神经网络」综述,简明阐述时空图神经网络方法



 新智元报道  

作者:专知编辑:好困

【新智元导读】图神经网络将深度学习模型扩展到非欧氏空间,并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。


这些强大的算法在过去几年中获得了巨大的兴趣。然而,这种性能是基于静态图结构假设的,这限制了图神经网络在数据随时间变化时的性能。时序图神经网络是考虑时间因素的图神经网络的扩展。近年来,各种时序图神经网络算法被提出,并在多个时间相关应用中取得了优于其他深度学习算法的性能。本综述讨论了与时空图神经网络相关的有趣主题,包括算法、应用和开放挑战。

论文地址:https://arxiv.org/abs/2301.10569

1. 引言

图神经网络(GNN)是一类深度学习模型,专门设计用于处理图结构数据。这些模型利用图拓扑来学习图的节点和边的有意义表示。图神经网络是传统卷积神经网络的扩展,在图分类、节点分类和链接预测等任务中被证明是有效的。GNNs的关键优势之一是,即使在基础图的规模增长时,它们也能保持良好的性能,这是因为可学习参数的数量独立于图中节点的数量。图神经网络(GNN)已被广泛应用于各种领域,如推荐系统、药物发现和生物学以及自治系统中的资源分配。然而,这些模型仅限于静态图数据,其中图结构是固定的。近年来,时变图数据引起了人们越来越多的关注,它出现在各种系统中并携带有价值的时间信息。时变图数据的应用包括多元时间序列数据、社交网络、视听系统等。为了满足这一需求,出现了一种新的GNN族:时空GNN,通过学习图结构的时间表示,同时考虑了数据的空间和时间维度。本文对最先进的时空图神经网络进行了全面的回顾。本文首先简要概述不同类型的时空图神经网络及其基本假设。更详细地研究了时空GNN中使用的特定算法,同时也为这些模型的分组提供了有用的分类法。本文还概述了时空GNN的各种应用,强调了这些模型已被用于取得最先进结果的关键领域。最后,讨论了该领域面临的挑战和未来的研究方向。总之,本综述旨在对时空图神经网络进行全面和深入的研究,强调该领域的现状、仍然需要解决的关键挑战,以及这些模型令人兴奋的未来可能性。

2. 算法


时空图神经网络从算法角度可分为基于谱的和基于空间的两类。另一个分类类别是引入时变的方法:另一个机器学习算法或在图结构中定义时间。2.1 混合时空图神经网络混合时空图神经网络由两个主要组件组成:空间组件和时间组件。在混合时空图神经网络中,利用图神经网络算法对数据中的空间依赖关系进行建模。2.2 Solo-Graph神经网络在时空图神经网络中建模时间的另一种方法是在GNN本身中定义时间框架。提出了多种方法,包括:将时间定义为边,将时间作为信号输入到GNN,将时间建模为子图,以及将其他机器学习架构夹在GNN中(图2)。

3. 应用

3.1 多变量时间序列预测受图神经网络处理关系依赖[10]能力的启发,时空图神经网络被广泛应用于多变量时间序列预测。应用包括流量预测,Covid预测,光伏电力消耗,RSU通信和地震应用。3.2人物交互在机器学习和计算机视觉中,时空域学习仍然是一个非常具有挑战性的问题。主要的挑战是如何在大的时空上下文[18]中建模对象和更高层次的概念之间的交互。在这样一个困难的学习任务中,有效地对空间关系、局部外观以及随着时间发生的复杂交互和变化进行建模是至关重要的。[18]引入了一种时空图神经网络模型,在空间和时间上循环,适合捕捉不断变化的世界场景[18]中不同实体和物体的局部外观和复杂的高层交互。3.3 动态图表示时序图表示学习一直被认为是图机器学习中一个非常重要的方面[15,31]。针对现有方法依赖时序图的离散快照而不能捕获强大表示的局限性,[3]提出了一种基于时空图神经网络的动态图表示学习方法。此外,[15]如今使用时空GNN动态表示脑图。多目标跟踪视频中的多目标跟踪严重依赖于对目标之间的时空交互进行建模[16]。[16]提出了一种时空图神经网络算法,对对象之间的空间和时间交互进行建模。3.4 手语翻译手语采用视觉-手动方式来传达含义,是聋人和重听群体的主要交流工具。为了缩小口语用户和手语用户之间的交流鸿沟,机器学习技术被引入其中。传统上,神经机器翻译被广泛采用,但需要更先进的方法来捕捉手语的空间属性。[13]提出了一种基于时空图神经网络的手语翻译系统,该系统在捕捉手语的时空结构方面具有强大的能力,与传统的神经机器翻译方法[13]相比,取得了最好的性能。3.5 技术增长排名了解技术的增长率是技术部门业务战略的核心关键。此外,预测技术的增长速度和相互之间的关系,有助于在产品定义、营销策略和研发方面的商业决策。[32]提出了一种基于时空图神经网络的社交网络技术增长排名预测方法。

4. 结论

图神经网络在过去几年中获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧氏空间。然而,图神经网络限于静态图结构假设,限制了图神经网络在数据随时间变化时的性能。时序图神经网络是考虑时间因素的图神经网络的扩展。本文对时空图神经网络进行了全面的概述。本文提出了一种分类法,基于时变方法将时空图神经网络分为两类。还讨论了时空图神经网络的广泛应用。最后,根据当前时空图神经网络面临的公开挑战,提出了未来的研究方向。参考资料:https://arxiv.org/abs/2301.10569

目录
打赏
0
0
0
0
368
分享
相关文章
RT-DETR改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
RT-DETR改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
48 3
RT-DETR改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
190 62
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
基于神经网络逆同步控制方法的两变频调速电机控制系统matlab仿真
本课题针对两电机变频调速系统,提出基于神经网络a阶逆系统的控制方法。通过构造原系统的逆模型,结合线性闭环调节器实现张力与速度的精确解耦控制,并在MATLAB2022a中完成仿真。该方法利用神经网络克服非线性系统的不确定性,适用于参数变化和负载扰动场景,提升同步控制精度与系统稳定性。核心内容涵盖系统原理、数学建模及神经网络逆同步控制策略,为工业自动化提供了一种高效解决方案。
【Azure K8S | AKS】在AKS的节点中抓取目标POD的网络包方法分享
在AKS中遇到复杂网络问题时,可通过以下步骤进入特定POD抓取网络包进行分析:1. 使用`kubectl get pods`确认Pod所在Node;2. 通过`kubectl node-shell`登录Node;3. 使用`crictl ps`找到Pod的Container ID;4. 获取PID并使用`nsenter`进入Pod的网络空间;5. 在`/var/tmp`目录下使用`tcpdump`抓包。完成后按Ctrl+C停止抓包。
44 12
RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力
RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力
90 13
RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
98 16
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
RT-DETR改进策略【Backbone/主干网络】| ICLR-2023 替换骨干网络为:RevCol 一种新型神经网络设计范式
RT-DETR改进策略【Backbone/主干网络】| ICLR-2023 替换骨干网络为:RevCol 一种新型神经网络设计范式
54 11
RT-DETR改进策略【Backbone/主干网络】| ICLR-2023 替换骨干网络为:RevCol 一种新型神经网络设计范式
RT-DETR改进策略【卷积层】| CGblock 内容引导网络 利用不同层次信息,提高多类别分类能力 (含二次创新)
RT-DETR改进策略【卷积层】| CGblock 内容引导网络 利用不同层次信息,提高多类别分类能力 (含二次创新)
62 5
RT-DETR改进策略【卷积层】| CGblock 内容引导网络 利用不同层次信息,提高多类别分类能力 (含二次创新)
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
82 9
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
揭示Transformer周期建模缺陷!北大提出新型神经网络FAN,填补周期性特征建模能力缺陷
北京大学研究团队发现,Transformer等主流神经网络在周期特征建模方面存在缺陷,如记忆数据模式而非理解内在规律,导致泛化能力受限。为此,团队提出基于傅里叶分析的Fourier Analysis Network(FAN),通过显式建模周期性特征,提升模型的理解和预测能力,减少参数和计算量,并在多个实验中验证其优越性。论文链接:https://arxiv.org/pdf/2410.02675.pdf
48 3

新智元

+ 订阅

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等