谷歌、阿里、腾讯等在大规模图神经网络上必用的GNN加速算法(二)

简介: 谷歌、阿里、腾讯等在大规模图神经网络上必用的GNN加速算法(二)

2.Layer-wise sampling


2.1 FastGCN



220cce32af70bd4fdc5792ab786e4687.png


论文标题:FastGCN: fast learning with graph convolutional networks via importance sampling


论文来源:ICLR2018


论文方向:图卷积网络


论文链接:https://arxiv.org/abs/1801.10247


我们已知,GCN的形式为:


bd6a734a1040bd188eb36492a22b4552.png


从积分的角度看待图卷积,假设图是无限大图的子集,所有结点为独立同分布的结点,满足


6e96041cb8a507871be32b1713ba13a1.png

34861fd0e9299f8c29f9af7f5b3ed9d5.png



则可以应用蒙特卡洛法,对每一层进行采样 个结点, 来近似积分,以前层的结点作为共享邻居集合:


e1e62940a33e79fb60b73eb9b939f146.png


此外为了减少估计方差(Variance Reduction),采用重要性采样(Importance samling),结点根据以下概率分布采样:



27e8dd3caf602914b05a7bffaee70c2d.pnge1e62940a33e79fb60b73eb9b939f146.png


2.2 ASGCN



777c6424ebb516400c28710aff57f04f.png


论文标题:Adaptive Sampling Towards Fast Graph Representation Learning


论文来源:NIPS2018


论文方向:图卷积网络


论文链接:https://arxiv.org/abs/1809.05343


c75393a181f27cc21858ae441c79a179.png


对FastGCN的最后一个公式,其最优的解(最小化从 抽样出的结点的方差, )为:


3f5c839b4e947af2cd8bf8ee4484c3f2.png


其中 ,而 则是上一层结点从邻居聚集而来的隐层表示。在FastGCN中,则有


为了防止递归困境,为importance sampling学习一个独立的决定其重要性的函数(Adaptive sampling),基于结点的特征 来计算:


1dd3c5a52cba28d0c31001f71776c9d0 (1).png


因此最终的抽样结点的分布为:


501ad53199ad6004ee38891e4b551be4.png

相关文章
|
机器学习/深度学习 算法 数据挖掘
【无人机】无人机(UAV)在无线网络的最优放置问题研究【高效本地地图搜索算法】(Matlab代码实现)
【无人机】无人机(UAV)在无线网络的最优放置问题研究【高效本地地图搜索算法】(Matlab代码实现)
400 1
|
传感器 机器学习/深度学习 算法
【UASNs、AUV】无人机自主水下传感网络中遗传算法的路径规划问题研究(Matlab代码实现)
【UASNs、AUV】无人机自主水下传感网络中遗传算法的路径规划问题研究(Matlab代码实现)
334 0
|
机器学习/深度学习 算法 调度
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
809 0
|
机器学习/深度学习 并行计算 算法
粒子群算法优化RBF神经网络的MATLAB实现
粒子群算法优化RBF神经网络的MATLAB实现
693 123
|
存储 机器学习/深度学习 监控
网络管理监控软件的 C# 区间树性能阈值查询算法
针对网络管理监控软件的高效区间查询需求,本文提出基于区间树的优化方案。传统线性遍历效率低,10万条数据查询超800ms,难以满足实时性要求。区间树以平衡二叉搜索树结构,结合节点最大值剪枝策略,将查询复杂度从O(N)降至O(logN+K),显著提升性能。通过C#实现,支持按指标类型分组建树、增量插入与多维度联合查询,在10万记录下查询耗时仅约2.8ms,内存占用降低35%。测试表明,该方案有效解决高负载场景下的响应延迟问题,助力管理员快速定位异常设备,提升运维效率与系统稳定性。
518 4
|
机器学习/深度学习 算法
采用蚁群算法对BP神经网络进行优化
使用蚁群算法来优化BP神经网络的权重和偏置,克服传统BP算法容易陷入局部极小值、收敛速度慢、对初始权重敏感等问题。
656 5
|
机器学习/深度学习 传感器 算法
【无人车路径跟踪】基于神经网络的数据驱动迭代学习控制(ILC)算法,用于具有未知模型和重复任务的非线性单输入单输出(SISO)离散时间系统的无人车的路径跟踪(Matlab代码实现)
【无人车路径跟踪】基于神经网络的数据驱动迭代学习控制(ILC)算法,用于具有未知模型和重复任务的非线性单输入单输出(SISO)离散时间系统的无人车的路径跟踪(Matlab代码实现)
756 2
|
机器学习/深度学习 并行计算 算法
【CPOBP-NSWOA】基于豪冠猪优化BP神经网络模型的多目标鲸鱼寻优算法研究(Matlab代码实现)
【CPOBP-NSWOA】基于豪冠猪优化BP神经网络模型的多目标鲸鱼寻优算法研究(Matlab代码实现)
346 8
|
算法 数据挖掘 区块链
基于遗传算法的多式联运车辆路径网络优优化研究(Matlab代码实现)
基于遗传算法的多式联运车辆路径网络优优化研究(Matlab代码实现)
364 2
|
机器学习/深度学习 传感器 算法
【表面粗糙度】基于粒子群PSO算法优化-BP神经网络的表面粗糙度研究(Matlab代码实现)
【表面粗糙度】基于粒子群PSO算法优化-BP神经网络的表面粗糙度研究(Matlab代码实现)
475 7

热门文章

最新文章