谷歌、阿里、腾讯等在大规模图神经网络上必用的GNN加速算法(三)

简介: 谷歌、阿里、腾讯等在大规模图神经网络上必用的GNN加速算法(三)

3.Subgraph sampling


3.1 cluster-GCN



80dda976dd53e6aa6df6b3c83c238e8a.png


论文标题:Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks


论文来源:KDD2019


论文方向:图卷积网络


论文链接:https://arxiv.org/abs/1905.07953


5910e6ac955589bf89bc5cc298fa33a5.png


**主要思路:**为了限制邻居数量的扩张和提高表示的效用,将图分割成多个cluster(限制子图的规模),在cluster上进行结点的batch training。


使用METIS进行图分割,使得cluster内的边多,cluster之间的边少。


594daf20469d4f709ac16e334fddb542.png


具体来说,对于图 分割成 个部分, , 由第 个分割中的结点构成, 仅由 中结点之间的边构成,故有 个子图:


52b42ef042d881a2b6252ee0199cec74.png

因此,邻居矩阵可以分为 的子矩阵:


0617603fc6a3dc2587b363532a9c239f.png8dbe614d78c216a2188878cc5f09eaff.png


同理也可以对结点特征矩阵 和 进行分割, 。


769e431156fee39a4395309676d57207.png


Loss可以分解为:


932eaa8b027f3cd8d7bcc28876bfadf7.png


两种训练方式:



1.随机挑选一个cluster进行训练(coarse clustering)


2.随机挑选 k 个cluster,然后连接他们再进行训练(stochastic multiple clustering)


3.2 GraphSAINT



763d3506c481fcd7b0343e436558d391.png


论文标题:GraphSAINT: Graph Sampling Based Inductive Learning Method


论文来源:ICLR2020


论文方向:图卷积网络


论文链接:https://arxiv.org/abs/1907.04931


主要思路:先采样子图,之后在子图上做完全连接的GCN。


e6fc884f54ff758b0c577ab44c1dd85e.png


通过在子图的GCN上添加归一化系数(通过预处理计算)来使得估计量无偏,Aggregation 的normalization为:


e1e1f0866f02616f003cdb6205b49c54.pngdf467638893b1f8f73d53ecc70b5e2fe.png


Loss的normalization为:


20e6f97c619a7fd952d969acb42e2835.png


从而:


0726bccd1ef4f780e22e2f6bd2824897.png


一个好的Samper应该使得:



1、相互具有较大影响的结点应该被sample到同一个子图;


2、每条边多有不可忽略的抽样概率。


设计Sampler减少评估的方差:


Random node sampler:


897a2d453be946d7c77460bfccf37b22.png


Random edge sampler:


3264d07075051260d9b34ba29a868987.png


Random walk based sampler:


c928caa87198f6602904b8c35d51ca1d.png


4.部分实验



427868b95f190ed12161056537a7dfe4.png





相关文章
|
机器学习/深度学习 算法 调度
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
809 0
|
机器学习/深度学习 算法 数据挖掘
没发论文的注意啦!重磅更新!GWO-BP-AdaBoost预测!灰狼优化、人工神经网络与AdaBoost集成学习算法预测研究(Matlab代码实现)
没发论文的注意啦!重磅更新!GWO-BP-AdaBoost预测!灰狼优化、人工神经网络与AdaBoost集成学习算法预测研究(Matlab代码实现)
401 0
|
机器学习/深度学习 数据采集 传感器
具有多种最大功率点跟踪(MPPT)方法的光伏发电系统(P&O-增量法-人工神经网络-模糊逻辑控制-粒子群优化)之使用粒子群算法的最大功率点追踪(MPPT)(Simulink仿真实现)
具有多种最大功率点跟踪(MPPT)方法的光伏发电系统(P&O-增量法-人工神经网络-模糊逻辑控制-粒子群优化)之使用粒子群算法的最大功率点追踪(MPPT)(Simulink仿真实现)
801 0
|
机器学习/深度学习 并行计算 算法
粒子群算法优化RBF神经网络的MATLAB实现
粒子群算法优化RBF神经网络的MATLAB实现
693 123
|
机器学习/深度学习 算法 数据安全/隐私保护
基于PSO粒子群优化TCN-LSTM时间卷积神经网络时间序列预测算法matlab仿真
本内容展示了一种基于粒子群优化(PSO)与时间卷积神经网络(TCN)的时间序列预测方法。通过 MATLAB2022a 实现,完整程序运行无水印,核心代码附详细中文注释及操作视频。算法利用 PSO 优化 TCN 的超参数(如卷积核大小、层数等),提升非线性时间序列预测性能。TCN 结构包含因果卷积层与残差连接,结合 LSTM 构建混合模型,经多次迭代选择最优超参数,最终实现更准确可靠的预测效果,适用于金融、气象等领域。
|
机器学习/深度学习 算法
采用蚁群算法对BP神经网络进行优化
使用蚁群算法来优化BP神经网络的权重和偏置,克服传统BP算法容易陷入局部极小值、收敛速度慢、对初始权重敏感等问题。
656 5
|
机器学习/深度学习 传感器 算法
【无人车路径跟踪】基于神经网络的数据驱动迭代学习控制(ILC)算法,用于具有未知模型和重复任务的非线性单输入单输出(SISO)离散时间系统的无人车的路径跟踪(Matlab代码实现)
【无人车路径跟踪】基于神经网络的数据驱动迭代学习控制(ILC)算法,用于具有未知模型和重复任务的非线性单输入单输出(SISO)离散时间系统的无人车的路径跟踪(Matlab代码实现)
756 2
|
机器学习/深度学习 并行计算 算法
【CPOBP-NSWOA】基于豪冠猪优化BP神经网络模型的多目标鲸鱼寻优算法研究(Matlab代码实现)
【CPOBP-NSWOA】基于豪冠猪优化BP神经网络模型的多目标鲸鱼寻优算法研究(Matlab代码实现)
346 8
|
机器学习/深度学习 传感器 算法
【表面粗糙度】基于粒子群PSO算法优化-BP神经网络的表面粗糙度研究(Matlab代码实现)
【表面粗糙度】基于粒子群PSO算法优化-BP神经网络的表面粗糙度研究(Matlab代码实现)
475 7
|
机器学习/深度学习 算法 PyTorch
【Pytorch框架搭建神经网络】基于DQN算法、优先级采样的DQN算法、DQN + 人工势场的避障控制研究(Python代码实现)
【Pytorch框架搭建神经网络】基于DQN算法、优先级采样的DQN算法、DQN + 人工势场的避障控制研究(Python代码实现)
364 1

热门文章

最新文章