谷歌、阿里、腾讯等在大规模图神经网络上必用的GNN加速算法(三)

简介: 谷歌、阿里、腾讯等在大规模图神经网络上必用的GNN加速算法(三)

3.Subgraph sampling


3.1 cluster-GCN



80dda976dd53e6aa6df6b3c83c238e8a.png


论文标题:Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks


论文来源:KDD2019


论文方向:图卷积网络


论文链接:https://arxiv.org/abs/1905.07953


5910e6ac955589bf89bc5cc298fa33a5.png


**主要思路:**为了限制邻居数量的扩张和提高表示的效用,将图分割成多个cluster(限制子图的规模),在cluster上进行结点的batch training。


使用METIS进行图分割,使得cluster内的边多,cluster之间的边少。


594daf20469d4f709ac16e334fddb542.png


具体来说,对于图 分割成 个部分, , 由第 个分割中的结点构成, 仅由 中结点之间的边构成,故有 个子图:


52b42ef042d881a2b6252ee0199cec74.png

因此,邻居矩阵可以分为 的子矩阵:


0617603fc6a3dc2587b363532a9c239f.png8dbe614d78c216a2188878cc5f09eaff.png


同理也可以对结点特征矩阵 和 进行分割, 。


769e431156fee39a4395309676d57207.png


Loss可以分解为:


932eaa8b027f3cd8d7bcc28876bfadf7.png


两种训练方式:



1.随机挑选一个cluster进行训练(coarse clustering)


2.随机挑选 k 个cluster,然后连接他们再进行训练(stochastic multiple clustering)


3.2 GraphSAINT



763d3506c481fcd7b0343e436558d391.png


论文标题:GraphSAINT: Graph Sampling Based Inductive Learning Method


论文来源:ICLR2020


论文方向:图卷积网络


论文链接:https://arxiv.org/abs/1907.04931


主要思路:先采样子图,之后在子图上做完全连接的GCN。


e6fc884f54ff758b0c577ab44c1dd85e.png


通过在子图的GCN上添加归一化系数(通过预处理计算)来使得估计量无偏,Aggregation 的normalization为:


e1e1f0866f02616f003cdb6205b49c54.pngdf467638893b1f8f73d53ecc70b5e2fe.png


Loss的normalization为:


20e6f97c619a7fd952d969acb42e2835.png


从而:


0726bccd1ef4f780e22e2f6bd2824897.png


一个好的Samper应该使得:



1、相互具有较大影响的结点应该被sample到同一个子图;


2、每条边多有不可忽略的抽样概率。


设计Sampler减少评估的方差:


Random node sampler:


897a2d453be946d7c77460bfccf37b22.png


Random edge sampler:


3264d07075051260d9b34ba29a868987.png


Random walk based sampler:


c928caa87198f6602904b8c35d51ca1d.png


4.部分实验



427868b95f190ed12161056537a7dfe4.png





相关文章
|
17天前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
99 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
13天前
|
机器学习/深度学习 数据采集 人工智能
基于Huffman树的层次化Softmax:面向大规模神经网络的高效概率计算方法
层次化Softmax算法通过引入Huffman树结构,将传统Softmax的计算复杂度从线性降至对数级别,显著提升了大规模词汇表的训练效率。该算法不仅优化了计算效率,还在处理大规模离散分布问题上提供了新的思路。文章详细介绍了Huffman树的构建、节点编码、概率计算及基于Gensim的实现方法,并讨论了工程实现中的优化策略与应用实践。
60 15
基于Huffman树的层次化Softmax:面向大规模神经网络的高效概率计算方法
|
16天前
|
机器学习/深度学习 人工智能 算法
深入解析图神经网络:Graph Transformer的算法基础与工程实践
Graph Transformer是一种结合了Transformer自注意力机制与图神经网络(GNNs)特点的神经网络模型,专为处理图结构数据而设计。它通过改进的数据表示方法、自注意力机制、拉普拉斯位置编码、消息传递与聚合机制等核心技术,实现了对图中节点间关系信息的高效处理及长程依赖关系的捕捉,显著提升了图相关任务的性能。本文详细解析了Graph Transformer的技术原理、实现细节及应用场景,并通过图书推荐系统的实例,展示了其在实际问题解决中的强大能力。
106 30
|
23天前
|
机器学习/深度学习 算法 Serverless
基于WOA-SVM的乳腺癌数据分类识别算法matlab仿真,对比BP神经网络和SVM
本项目利用鲸鱼优化算法(WOA)优化支持向量机(SVM)参数,针对乳腺癌早期诊断问题,通过MATLAB 2022a实现。核心代码包括参数初始化、目标函数计算、位置更新等步骤,并附有详细中文注释及操作视频。实验结果显示,WOA-SVM在提高分类精度和泛化能力方面表现出色,为乳腺癌的早期诊断提供了有效的技术支持。
|
1月前
|
机器学习/深度学习 算法 关系型数据库
基于PSO-SVM的乳腺癌数据分类识别算法matlab仿真,对比BP神经网络和SVM
本项目展示了利用粒子群优化(PSO)算法优化支持向量机(SVM)参数的过程,提高了分类准确性和泛化能力。包括无水印的算法运行效果预览、Matlab2022a环境下的实现、核心代码及详细注释、操作视频,以及对PSO和SVM理论的概述。PSO-SVM结合了PSO的全局搜索能力和SVM的分类优势,特别适用于复杂数据集的分类任务,如乳腺癌诊断等。
|
1月前
|
机器学习/深度学习 自然语言处理 算法
深入理解机器学习算法:从线性回归到神经网络
深入理解机器学习算法:从线性回归到神经网络
|
1月前
|
算法 测试技术 量子技术
时隔5年,谷歌再创量子霸权里程碑!RCS算法让电路体积增加一倍
谷歌在量子计算领域取得重大突破,通过随机电路采样(RCS)算法,成功将量子电路体积翻倍,实现了量子霸权的里程碑。这一成果发表于《自然》杂志,展示了量子动力学与噪声交互作用下的相变现象,推动了量子计算在密码学、材料科学等领域的应用潜力。尽管如此,量子计算仍面临错误率高、可扩展性差等挑战。
40 3
|
1月前
|
算法 测试技术 量子技术
时隔5年,谷歌再创量子霸权里程碑!RCS算法让电路体积增加一倍
谷歌在量子计算领域取得新突破,其研究人员在《自然》杂志上发表论文《随机电路采样中的相变》,介绍了一种名为随机电路采样(RCS)的算法。该算法通过优化量子关联速度、防止经典简化和利用相变现象,使量子电路体积在相同保真度下增加一倍,为量子计算的发展树立了新的里程碑。实验结果显示,RCS算法在67个量子比特和32个周期的条件下,实现了1.5×10^-3的保真度。这一成果不仅提升了量子计算的效率,也为解决噪声问题提供了新思路。
82 3
|
1月前
|
机器学习/深度学习 人工智能 算法
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
车辆车型识别,使用Python作为主要编程语言,通过收集多种车辆车型图像数据集,然后基于TensorFlow搭建卷积网络算法模型,并对数据集进行训练,最后得到一个识别精度较高的模型文件。再基于Django搭建web网页端操作界面,实现用户上传一张车辆图片识别其类型。
85 0
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
|
2月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于贝叶斯优化卷积神经网络(Bayes-CNN)的多因子数据分类识别算法matlab仿真
本项目展示了贝叶斯优化在CNN中的应用,包括优化过程、训练与识别效果对比,以及标准CNN的识别结果。使用Matlab2022a开发,提供完整代码及视频教程。贝叶斯优化通过构建代理模型指导超参数优化,显著提升模型性能,适用于复杂数据分类任务。