论文笔记:Multi-dimensional Graph Convolutional Networks

简介: 论文笔记:Multi-dimensional Graph Convolutional Networks

ABSTRACT


卷积神经网络(CNNs)利用其强大的表示学习能力对图像、视频等规则网格数据进行表示学习。近年来,将CNN推广到高度不规则的图形或网络数据上受到越来越多的关注。


有的侧重于图形级表示学习,有的着眼于学习节点级表示。这些方法已经被证明可以提高许多图级任务(如图分类)和节点级任务(如节点分类)的性能。


这些方法大多是针对单维图设计的,其中一对结点只能通过一种类型的关系连接,然而,许多现实世界的图具有多种类型的关系,它们可以自然地建模为多维图,每种类型的关系都是一个维度。


多维图形带来了更丰富的维度间交互作用,这对专为单维图形设计的图卷积神经网络提出了挑战。本文研究了多维图的图卷积网络问题,提出了一种多维卷积神经网络模型mGCN,目的是在学习多维图的节点级表示时捕捉到丰富的信息。


在真实多维图形上的综合实验证明了该框架的有效性。


1 INTRODUCTION


卷积推广到图。


贡献:


·我们提出了一种原则性的方法来捕获维内和跨维的交互;

·我们提出了一个多维图卷积网络框架mGCN,它可以对多维图中丰富的信息进行连贯的建模,用于表征学习;以及

·我们在真实世界的多维图上进行了全面的实验,证明了该框架的有效性。


2 THE PROPOSED FRAMEWORK


然而,在多维图形中,所有维度共享同一组节点,而节点之间的交互在不同维度上是不同的。节点之间的不同相互作用在不同维度上形成不同的网络结构。


这两种类型的交互导致了两种不同类型的邻居-维内邻居和跨维邻居。对于给定维度d中的节点设备i,维度内邻居由维度d中与其连接的所有节点组成(或者对于所有vj,其中Ad[i,j]=1)。对于给定维度d中的节点vi,跨维邻居由其自己在其他维度中的副本组成。



为了获取每个维度内和跨维度的信息,以及整个多维图形中的一般信息,我们为每个节点引入了两种表示–维度特定表示来表示每个维度中的维度内和跨维度信息,以及通用表示来表示整个多维图形中的一般信息。我们首先详细介绍了这两种表示方式,然后引入模型组件来获取维内信息和跨维信息,最后讨论了所提出的框架。


2.1 General and dimension-specific representations

特定维度的表示与每个维度相对应,而通用的表示应该涵盖所有维度的信息。在这一部分中,我们将介绍一般表示法和特定维数表示法之间的关系。


更具体地说,我们描述了将通用表示转换为特定于维度的表示的过程,以及组合特定于维度的表示以形成通用表示的过程。该程序不仅可以帮助我们更好地理解特定尺寸表示与一般表示之间的关系,而且还可以帮助我们减少表示参数。


To get the dimension-specific representations hi,dfrom the general representation hi



To get the general representation from the dimension-specificrepresentations



2.4 Multi-dimensional Graph ConvolutionalNetworks

首先,通过全连接层,全局表示到个视图处理前的表示,


其中,α是控制两个组件之间重要性的超级参数。该组合在聚合后生成维数特定的表示,记为Hkd,d=1,…,D。最后,我们根据公式将这些维数特定的表示组合起来,得到新的通用表示Hk+1



电子演示可以是与节点相关联的特征、通过某些网络嵌入方法学习的表示或者甚至是随机初始化的表示。设输入为X,则我们初始化H0=X,多维GCN的输出是在第(K−1)层中形成的一般表示Hk。为方便起见,我们用Z:=HK表示。


模型中的参数包括全连通组合层的投影矩阵Wkd,d=1,…,D,wk和k=0,…,K−1时注意函数的Mk。为了训练模型,可以设计不同的损失函数。例如,我们可以使用来自节点标签的监督信息。在这项工作中,我们利用链接信息设计了一个无监督损失函数。更具体地说,我们将维度d中节点vi和节点vj之间存在的链路的概率建模为:



3 EXPERIMENTS



我们的方法mGCN在两个数据集上的性能都优于所有的基线,这表明我们的方法是有效的。mGCN的性能优于GCN,这表明利用多维图中的多维关系是必要的,我们提出的方法mGCN可以很好地帮助他们学习更好的表示


-mGCN优于MIREs,说明mGCN能更好地捕捉内、跨维信息;-mGCN优于mGCN-NOA,说明了注意机制在跨维聚集过程中的有效性;-mGCN优于MGCN-NOA,说明了注意机制在跨维聚集过程中的有效性;-mGCN优于mGCN-NOA,说明了注意机制在跨维聚集过程中的有效性。


CONCLUSIONS AND FUTURE WORK


在这篇文章中,我们提出了一种新的多维图的图卷积网络。我们提出使用特定维度的表示来捕捉每个维度中节点的信息,而使用通用表示来捕捉整个图上的节点的信息。特别地,我们建议在对每个维度的特定维度表示进行建模时,从维度内和维度间的交互中获取信息。然后,我们使用完全连接层将这些特定于维度的表示合并为一般表示。我们在两个真实的多维网络上进行了全面的实验。实验结果证明了该框架的有效性。


获取信息。然后,我们使用完全连接层将这些特定于维度的表示合并为一般表示。我们在两个真实的多维网络上进行了全面的实验。实验结果证明了该框架的有效性。


在这项工作中,我们采用加权平均来结合来自维内聚集和跨维聚集的表示。可以尝试更先进的组合方法,如非线性函数,甚至前馈神经网络。许多真实世界的图形或网络都在自然地演变。因此,在对图的卷积网络进行建模时,考虑时间信息将是一个有趣的课题。例如,一个可能的方向是在建模维内聚合时考虑创建的链接时间戳。

目录
相关文章
|
5月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
MTCNN(Multi-task Cascaded Convolutional Networks)
MTCNN(Multi-task Cascaded Convolutional Networks)
74 0
|
6月前
Simplifying Graph Convolutional Networks论文笔记
Simplifying Graph Convolutional Networks论文笔记
|
机器学习/深度学习 自然语言处理 算法
【论文精读】COLING 2022 -Event Detection with Dual Relational Graph Attention Networks
图神经网络(Scarselli et al, 2009)已被广泛用于编码事件检测的依赖树,因为它们可以基于信息聚合方案有效地捕获相关信息(Cao et al, 2021)。
178 0
|
Windows
论文阅读:AM-GCN Adaptive Multi-channel Graph Convolutional Networks
论文阅读:AM-GCN Adaptive Multi-channel Graph Convolutional Networks
177 0
论文阅读:AM-GCN Adaptive Multi-channel Graph Convolutional Networks
|
机器学习/深度学习
【论文阅读】(2019)SimGNN:A Neural Network Approach to Fast Graph Similarity Computation
- 图形相似性搜索是最重要的基于图形的应用程序之一,例如查找与查询化合物最相似的化合物。 - 图相似性距离计算,如图编辑距离(GED)和最大公共子图(MCS),是图相似性搜索和许多其他应用程序的核心操作,但实际计算成本很高。 - 受神经网络方法最近成功应用于若干图形应用(如节点或图形分类)的启发,我们提出了一种新的基于神经网络的方法来解决这一经典但具有挑战性的图形问题,**旨在减轻计算负担,同时保持良好的性能**。 - 提出的**方法称为SimGNN**,它结合了两种策略。 - 首先,我们**设计了一个可学习的嵌入函数**,将每个图映射到一个嵌入向量中,从而提供图的全局摘要。**提出了一种新的
261 0
【论文阅读】(2019)SimGNN:A Neural Network Approach to Fast Graph Similarity Computation
《Multi-Task Multi-Network Joint-Learning of Deep Residual Networks and Cycle-Consistency Generative Adversarial Networks for Robust Speech Recognition》电子版地址
Multi-Task Multi-Network Joint-Learning of Deep Residual Networks and Cycle-Consistency Generative Adversarial Networks for Robust Speech Recognition
104 0
《Multi-Task Multi-Network Joint-Learning of Deep Residual Networks and Cycle-Consistency Generative Adversarial Networks for Robust Speech Recognition》电子版地址
|
机器学习/深度学习 存储
Exploring the Regularity of Sparse Structure in Convolutional Neural Networks(在卷积神经网络中探索稀疏结构的规律性)
作者提出 基于论文Learning both weights and connections for efficient neural network修剪的方法在保留精度以及实现更高的压缩率方面确实很好。但是,这种改进是以稀疏计算模式的不规则性为代价的。 另一方面结构化的剪枝(例如修剪掉整个过滤器),但是比修剪单个权重会引起更大的精度损失。
165 0
Exploring the Regularity of Sparse Structure in Convolutional Neural Networks(在卷积神经网络中探索稀疏结构的规律性)
|
机器学习/深度学习
Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning
Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning
Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning
|
机器学习/深度学习 人工智能 计算机视觉
Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
|
算法 数据挖掘 知识图谱
Self-supervised graph convolutional network for multi-view clustering(论文阅读记录)
IEEE TRANSACTIONS ON MULTIMEDIA 2区top 2022 影响因子:6.005
434 0