用于多关系数据的图神经网络R-GCNs(下)

简介: 用于多关系数据的图神经网络R-GCNs

关系图卷积网络(Relational-GCN)

前面的示例描述了GCN在无向和无类型图上的行为。如前所述,更新过程基于以下步骤(在以下说明中,为简单起见,不考虑节点度)。

通过将(i)单热点特征矩阵与(ii)权重矩阵相乘,可以实现投影步骤(或线性变换)。

(i)2D矩阵(n,n),用于定义表示节点的独热向量。

(ii)定义隐藏特征的2D矩阵(n,h)。当前矩阵仅编码一种类型的关系。

将邻接矩阵(i)与投影步骤产生的矩阵(ii)相乘,即可实现一个聚合步骤。

(i)2D对称矩阵(n,n),描述无向和无类型的边。

(ii)投影步骤产生的2D矩阵(n,h)。

为了扩展GCN层以编码KG结构,我们需要将我们的数据表示为有向图和多类型图。更新/聚合过程与上一个类似,但是组成部分稍微复杂一些。下面提供了有关执行步骤的详细信息。

通过将(i)独热点特征矩阵与(ii)权重张量相乘,可以实现投影步骤。

(i)定义节点初始特征的2D矩阵(n,n)。

(ii)描述节点隐藏特征的3D张量(r,n,h)。该张量能够通过堆叠大小为(n,h)的r批矩阵来编码不同的关系。每个批都编码单个类型的关系。

投影步骤将不再是矩阵的简单乘法,而是批次矩阵乘法,其中(i)与(ii)的每一批相乘。

聚合步骤,是通过将(i)(有向)邻接张量乘以(ii)由投影步骤得出的张量而实现的。

(i)描述有向和r型边的3D张量(r,n,n)。该张量由r批邻接矩阵(n,n)组成。每个邻接矩阵根据特定类型的关系描述节点之间的边。而且,与无向图的邻接矩阵相比,这些邻接矩阵中的每一个都不对称,因为它编码特定的边缘方向。

(ii)由上述投影步骤产生的3D张量(r,n,h)。

就像投影步骤一样,聚合阶段包括一个批处理矩阵乘法。每批(i)乘以每批(ii)。此汇总定义了每个批次的GCN转换。在该过程的最后,必须将批次加在一起(R-GCN),以获得根据不同关系类型并入邻域聚合的节点表示。

以下代码示例显示了R-GCN层的行为,该行为编码具有两种类型的边(或关系)的有向和多类型图或KG。

###Recall: One-hotvectorrepresentationofnodes (n,n)
print(X)-----[[0.0.1.0.0.] #Node1  [0.1.0.0.0.] ...
  [0.0.0.0.1.]
  [1.0.0.0.0.]
  [0.0.0.1.0.]]
###Numberofrelationtypes (r)
num_rels=2###Weightmatrixofrelationnumber1 (n,n)
##InitializationaccordingtoGlorotandBengio (2010))
W_rel1=np.random.uniform(-np.sqrt(1./h),np.sqrt(1./h),(n,h))
print(W_rel1)
-----[[-0.46378913-0.091097070.52872529]
  [ 0.038295970.22156061-0.2130242 ]
  [ 0.215352720.38639244-0.55623279]
  [ 0.288841780.564488160.28655701]
  [-0.253521440.334031-0.45815514]]
###Weightmatrixofrelationnumber2 (n,h)
##RandominitializationwithuniformdistributionW_rel2=np.random.uniform(1/100, 0.5, (n,h))
print(W_rel2)
-----[[0.229467830.45521180.15387093]
  [0.151009920.0737140.01948981]
  [0.342629410.113697780.14011786]
  [0.250870850.036147650.29131763]
  [0.0818970.298759710.3528816 ]]
###Tensorincludingbothweightmatrices (r,n,h)
W_rels=np.concatenate((W_rel1, W_rel2))
W_rels=np.reshape(W_rels,(num_rels, n, h))
print(W_rels)
-----[[[-0.46378913-0.091097070.52872529]
  [ 0.038295970.22156061-0.2130242 ]
  [ 0.215352720.38639244-0.55623279]
  [ 0.288841780.564488160.28655701]
  [-0.253521440.334031-0.45815514]]
  [[ 0.229467830.45521180.15387093]
  [ 0.151009920.0737140.01948981]
  [ 0.342629410.113697780.14011786]
  [ 0.250870850.036147650.29131763]
  [ 0.0818970.298759710.3528816 ]]]
###Lineartrasformationwithbatchmatrixmultiplication (r,n,h)
L_0_rels=np.matmul(X, W_rels)
print(L_0_rels)
-----[[[ 0.215352720.38639244-0.55623279] #Node1 (3rdrowofW_rel1)
  [ 0.038295970.22156061-0.2130242 ]
  [-0.253521440.334031-0.45815514]
  [-0.46378913-0.091097070.52872529]
  [ 0.288841780.564488160.28655701]]
  [[ 0.342629410.113697780.14011786] #Node1 (3rdrowofW_rel2)
  [ 0.151009920.0737140.01948981]
  [ 0.0818970.298759710.3528816 ]
  [ 0.229467830.45521180.15387093]
  [ 0.250870850.036147650.29131763]]]
###Adjacencymatrixofrelationnumber1 (n,n)
A_rel1=np.random.randint(2, size=(n, n))
np.fill_diagonal(A, 0) #Noself_loopprint(A_rel1)
-----[[01111] #ConnectionstoNode1withRel1  [11001] #ConnectionstoNode2withRel1  [10010]
  [00111]
  [11010]]
###Adjacencymatrixofrelationnumber2 (n,n)
A_rel2=np.random.randint(3,size=(n,n))
np.fill_diagonal(A_rel2, 0) #NoselfloopA_rel2[A_rel2>1] =0-----[[00010] #ConnectionstoNode1withRel2  [10000] #ConnectionstoNode2withRel2  [10011]
  [00000]
  [01000]]
###Tensorincludingbothadjacencymatrices (r,n,n)
A_rels=np.concatenate((A_rel1, A_rel2))
A_rels=np.reshape(A_rels, (num_rels, n, n))
print(A_rels)
-----[[[01111] #ConnectionstoNode1withRel1  [11001]
  [10010]
  [00111]
  [11010]]
  [[00010] #ConnectionstoNode2withRel2  [10000]
  [10011]
  [00000]
  [01000]]]
### (GCN) Neighborhooddiffusionforeachtypededge (r,n,h)
ND_GCN=np.matmul(A_rels, L_0_rels)
print(ND_GCN)
-----[[[-0.390172821.02898270.14410296] #UpdatedNode1withRel1  [ 0.542490471.17244121-0.48269997]
  [-0.248436410.29529538-0.0275075 ]
  [-0.428468790.807422090.35712716]
  [-0.210140430.51685598-0.2405317 ]]
  [[ 0.229467830.45521180.15387093] #UpdatedNode1withRel2  [ 0.342629410.113697780.14011786]
  [ 0.822968090.605057220.58530642]
  [ 0.0.0.       ]
  [ 0.151009920.0737140.01948981]]]
### (R-GCN) AggregationofGCN (n,h)
RGCN=np.sum(ND_GCN, axis=0)
print(RGCN)
-----[[-0.160704991.484194490.29797389] UpdatedNode1(Rel1+Rel2)
  [ 0.885119881.28613899-0.34258211]
  [ 0.574531680.90035260.55779892]
  [-0.428468790.807422090.35712716]
  [-0.059130520.59056998-0.22104189]]
###Testoftheaggregationassert(RGCN[0,0] ==L_0_rels[0,1,0] +L_0_rels[0,2,0] +L_0_rels[0,3,0] +L_0_rels[0,4,0] +L_0_rels[1,3,0])

你可以从这个例子中注意到,邻域扩散(GCN)的结果是一个大小为(r, n,h)的3D张量,而不是一个大小为(n,h)的2D矩阵。原因是,对于每种类型的关系,邻居扩散都是以一种单独的方式进行的。R-GCN层对GCN所实现的每种关系类型的节点表示进行聚合。为了阐明这个方面,考虑节点1的聚合表示

[-0.160704991.484194490.29797389]

这个向量是由节点1的更新表示与关系1相加得到的

[-0.390172821.02898270.14410296]

与关系2的节点1的更新表示

[ 0.229467830.45521180.15387093]

本节中描述的代码可以在数学上形式化如下:

640.png

描述R-GCN层执行的各向同性聚合的功能。与先前的功能相比,此聚合包括进一步的求和运算,该运算包括节点i和j之间的不同类型的边缘(E_ij)。为了简单起见,省略了节点的度数

总结

R-GCN代表了强大的图神经体系结构,可对诸如KG之类的多关系数据进行编码。在以后的文章中,我将向您展示如何利用这种编码能力在KG中执行特定任务,包括节点分类和链接预测。

如果要直接运行和测试代码,可以在此处下载可用的笔记本:

https://github.com/giuseppefutia/notebooks/blob/main/rgcn.ipynb

以下研究论文提供了有关R-GCN架构的更多详细信息:

https://arxiv.org/abs/1703.06103

目录
相关文章
|
4天前
|
Java Linux API
统计android设备的网络数据使用量
统计android设备的网络数据使用量
16 0
|
1天前
|
安全 网络协议 算法
网络安全与信息安全:保护你的数据,保护你的世界
【5月更文挑战第18天】在数字化的世界中,网络安全和信息安全已经成为我们生活的重要组成部分。本文将深入探讨网络安全漏洞、加密技术以及安全意识等方面的内容,帮助读者更好地理解和保护自己的数据。我们将讨论如何识别和防止网络安全威胁,如何使用加密技术来保护信息,以及如何提高自己的安全意识。
|
2天前
|
机器学习/深度学习 数据挖掘 算法框架/工具
想要了解图或图神经网络?没有比看论文更好的方式,面试阿里国际站运营一般会问什么
想要了解图或图神经网络?没有比看论文更好的方式,面试阿里国际站运营一般会问什么
|
2天前
|
机器学习/深度学习 JSON PyTorch
图神经网络入门示例:使用PyTorch Geometric 进行节点分类
本文介绍了如何使用PyTorch处理同构图数据进行节点分类。首先,数据集来自Facebook Large Page-Page Network,包含22,470个页面,分为四类,具有不同大小的特征向量。为训练神经网络,需创建PyTorch Data对象,涉及读取CSV和JSON文件,处理不一致的特征向量大小并进行归一化。接着,加载边数据以构建图。通过`Data`对象创建同构图,之后数据被分为70%训练集和30%测试集。训练了两种模型:MLP和GCN。GCN在测试集上实现了80%的准确率,优于MLP的46%,展示了利用图信息的优势。
9 1
|
2天前
|
机器学习/深度学习 人工智能 安全
网络安全与信息安全:保护数据的关键策略
【5月更文挑战第17天】在数字化时代,网络安全和信息安全已成为维护个人和企业资产的核心。本文将深入探讨网络安全漏洞的概念、加密技术的重要性以及提升安全意识的必要性。我们将分析当前网络环境中的安全挑战,介绍最新的加密方法,并分享如何培养强大的安全文化,以减少潜在的网络攻击和数据泄露风险。
|
4天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:保护您的数据和隐私
【5月更文挑战第14天】本文将探讨网络安全漏洞、加密技术和安全意识等方面,以帮助读者更好地了解如何保护他们的数据和隐私。我们将讨论各种类型的网络攻击,以及如何使用加密技术来保护信息。此外,我们还将强调培养良好的安全习惯的重要性,以降低遭受网络攻击的风险。
|
4天前
|
安全 网络协议 网络安全
网络安全与信息安全:保护你的数据,保护你的未来
【5月更文挑战第14天】在数字化的世界中,网络安全和信息安全是每个互联网用户都必须面对的问题。本文将深入探讨网络安全漏洞、加密技术以及安全意识等方面的知识,帮助读者更好地理解和保护自己的数据。我们将讨论如何识别和防范网络安全威胁,如何使用加密技术来保护数据,以及如何提高自己的安全意识,从而在网络世界中更安全地生活。
|
4天前
|
安全 物联网 网络安全
网络安全与信息安全:保护数据的关键策略
【5月更文挑战第14天】 在数字化时代,网络安全和信息安全已成为维护个人隐私、企业资产和国家安全的基石。面对日益增长的网络威胁,理解并应对安全漏洞、掌握加密技术以及提升安全意识显得尤为重要。本文将深入探讨当前的网络安全隐患,解析加密技术的工作原理及其重要性,并提出提高个人和组织安全意识的有效方法。我们的目标是通过知识分享,为读者提供一套全面的网络安全自保策略。
|
4天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:保护你的数据,保护你的未来
【5月更文挑战第14天】在数字化的世界中,网络安全和信息安全是我们生活的基石。本文将深入探讨网络安全漏洞、加密技术以及安全意识等方面,以期帮助读者更好地理解和应对网络安全威胁。我们将从网络安全的基本概念出发,分析常见的网络攻击手段,然后介绍加密技术的基本原理和应用。最后,我们将讨论如何提高个人和企业的安全意识,以应对日益严峻的网络安全形势。
|
4天前
|
网络安全 数据安全/隐私保护 计算机视觉
2024蓝桥杯网络安全-图片隐写-缺失的数据(0基础也能学会-含代码解释)
2024蓝桥杯网络安全-图片隐写-缺失的数据(0基础也能学会-含代码解释)

热门文章

最新文章