谷歌、阿里、腾讯等在大规模图神经网络上必用的GNN加速算法(三)

简介: 谷歌、阿里、腾讯等在大规模图神经网络上必用的GNN加速算法(三)

3.Subgraph sampling


3.1 cluster-GCN



80dda976dd53e6aa6df6b3c83c238e8a.png


论文标题:Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks


论文来源:KDD2019


论文方向:图卷积网络


论文链接:https://arxiv.org/abs/1905.07953


5910e6ac955589bf89bc5cc298fa33a5.png


**主要思路:**为了限制邻居数量的扩张和提高表示的效用,将图分割成多个cluster(限制子图的规模),在cluster上进行结点的batch training。


使用METIS进行图分割,使得cluster内的边多,cluster之间的边少。


594daf20469d4f709ac16e334fddb542.png


具体来说,对于图 分割成 个部分, , 由第 个分割中的结点构成, 仅由 中结点之间的边构成,故有 个子图:


52b42ef042d881a2b6252ee0199cec74.png

因此,邻居矩阵可以分为 的子矩阵:


0617603fc6a3dc2587b363532a9c239f.png8dbe614d78c216a2188878cc5f09eaff.png


同理也可以对结点特征矩阵 和 进行分割, 。


769e431156fee39a4395309676d57207.png


Loss可以分解为:


932eaa8b027f3cd8d7bcc28876bfadf7.png


两种训练方式:



1.随机挑选一个cluster进行训练(coarse clustering)


2.随机挑选 k 个cluster,然后连接他们再进行训练(stochastic multiple clustering)


3.2 GraphSAINT



763d3506c481fcd7b0343e436558d391.png


论文标题:GraphSAINT: Graph Sampling Based Inductive Learning Method


论文来源:ICLR2020


论文方向:图卷积网络


论文链接:https://arxiv.org/abs/1907.04931


主要思路:先采样子图,之后在子图上做完全连接的GCN。


e6fc884f54ff758b0c577ab44c1dd85e.png


通过在子图的GCN上添加归一化系数(通过预处理计算)来使得估计量无偏,Aggregation 的normalization为:


e1e1f0866f02616f003cdb6205b49c54.pngdf467638893b1f8f73d53ecc70b5e2fe.png


Loss的normalization为:


20e6f97c619a7fd952d969acb42e2835.png


从而:


0726bccd1ef4f780e22e2f6bd2824897.png


一个好的Samper应该使得:



1、相互具有较大影响的结点应该被sample到同一个子图;


2、每条边多有不可忽略的抽样概率。


设计Sampler减少评估的方差:


Random node sampler:


897a2d453be946d7c77460bfccf37b22.png


Random edge sampler:


3264d07075051260d9b34ba29a868987.png


Random walk based sampler:


c928caa87198f6602904b8c35d51ca1d.png


4.部分实验



427868b95f190ed12161056537a7dfe4.png





相关文章
|
3天前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的眼疾识别系统实现~人工智能+卷积网络算法
眼疾识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了4种常见的眼疾图像数据集(白内障、糖尿病性视网膜病变、青光眼和正常眼睛) 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面,实现用户上传一张眼疾图片识别其名称。
19 4
基于Python深度学习的眼疾识别系统实现~人工智能+卷积网络算法
|
25天前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络,基于37种常见猫狗数据集训练高精度模型,并保存为h5格式。通过Django框架搭建Web平台,用户上传宠物图片即可识别其名称,提供便捷的宠物识别服务。
245 55
|
15天前
|
机器学习/深度学习 算法
基于改进遗传优化的BP神经网络金融序列预测算法matlab仿真
本项目基于改进遗传优化的BP神经网络进行金融序列预测,使用MATLAB2022A实现。通过对比BP神经网络、遗传优化BP神经网络及改进遗传优化BP神经网络,展示了三者的误差和预测曲线差异。核心程序结合遗传算法(GA)与BP神经网络,利用GA优化BP网络的初始权重和阈值,提高预测精度。GA通过选择、交叉、变异操作迭代优化,防止局部收敛,增强模型对金融市场复杂性和不确定性的适应能力。
150 80
|
3天前
|
机器学习/深度学习 数据采集 算法
基于GA遗传优化的CNN-GRU-SAM网络时间序列回归预测算法matlab仿真
本项目基于MATLAB2022a实现时间序列预测,采用CNN-GRU-SAM网络结构。卷积层提取局部特征,GRU层处理长期依赖,自注意力机制捕捉全局特征。完整代码含中文注释和操作视频,运行效果无水印展示。算法通过数据归一化、种群初始化、适应度计算、个体更新等步骤优化网络参数,最终输出预测结果。适用于金融市场、气象预报等领域。
基于GA遗传优化的CNN-GRU-SAM网络时间序列回归预测算法matlab仿真
|
1月前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
169 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
3天前
|
存储 监控 算法
局域网网络管控里 Node.js 红黑树算法的绝妙运用
在数字化办公中,局域网网络管控至关重要。红黑树作为一种自平衡二叉搜索树,凭借其高效的数据管理和平衡机制,在局域网设备状态管理中大放异彩。通过Node.js实现红黑树算法,可快速插入、查找和更新设备信息(如IP地址、带宽等),确保网络管理员实时监控和优化网络资源,提升局域网的稳定性和安全性。未来,随着技术融合,红黑树将在网络管控中持续进化,助力构建高效、安全的局域网络生态。
24 9
|
30天前
|
机器学习/深度学习 数据采集 人工智能
基于Huffman树的层次化Softmax:面向大规模神经网络的高效概率计算方法
层次化Softmax算法通过引入Huffman树结构,将传统Softmax的计算复杂度从线性降至对数级别,显著提升了大规模词汇表的训练效率。该算法不仅优化了计算效率,还在处理大规模离散分布问题上提供了新的思路。文章详细介绍了Huffman树的构建、节点编码、概率计算及基于Gensim的实现方法,并讨论了工程实现中的优化策略与应用实践。
68 15
基于Huffman树的层次化Softmax:面向大规模神经网络的高效概率计算方法
|
9天前
|
机器学习/深度学习 算法
基于遗传优化的双BP神经网络金融序列预测算法matlab仿真
本项目基于遗传优化的双BP神经网络实现金融序列预测,使用MATLAB2022A进行仿真。算法通过两个初始学习率不同的BP神经网络(e1, e2)协同工作,结合遗传算法优化,提高预测精度。实验展示了三个算法的误差对比结果,验证了该方法的有效性。
|
11天前
|
机器学习/深度学习 数据采集 算法
基于PSO粒子群优化的CNN-GRU-SAM网络时间序列回归预测算法matlab仿真
本项目展示了基于PSO优化的CNN-GRU-SAM网络在时间序列预测中的应用。算法通过卷积层、GRU层、自注意力机制层提取特征,结合粒子群优化提升预测准确性。完整程序运行效果无水印,提供Matlab2022a版本代码,含详细中文注释和操作视频。适用于金融市场、气象预报等领域,有效处理非线性数据,提高预测稳定性和效率。
|
10天前
|
算法 网络协议 Python
探秘Win11共享文件夹之Python网络通信算法实现
本文探讨了Win11共享文件夹背后的网络通信算法,重点介绍基于TCP的文件传输机制,并提供Python代码示例。Win11共享文件夹利用SMB协议实现局域网内的文件共享,通过TCP协议确保文件传输的完整性和可靠性。服务器端监听客户端连接请求,接收文件请求并分块发送文件内容;客户端则连接服务器、接收数据并保存为本地文件。文中通过Python代码详细展示了这一过程,帮助读者理解并优化文件共享系统。

热门文章

最新文章

下一篇
开通oss服务