【Pytorch神经网络理论篇】 27 图神经网络DGL库:简介+安装+卸载+数据集+PYG库+NetWorkx库

简介: DGL库是由纽约大学和亚马逊联手推出的图神经网络框架,支持对异构图的处理,开源相关异构图神经网络的代码,在GCMC、RGCN等业内知名的模型实现上也取得了很好的效果。

同学你好!本文章于2021年末编写,获得广泛的好评!


故在2022年末对本系列进行填充与更新,欢迎大家订阅最新的专栏,获取基于Pytorch1.10版本的理论代码(2023版)实现,


Pytorch深度学习·理论篇(2023版)目录地址为:


CSDN独家 | 全网首发 | Pytorch深度学习·理论篇(2023版)目录


本专栏将通过系统的深度学习实例,从可解释性的角度对深度学习的原理进行讲解与分析,通过将深度学习知识与Pytorch的高效结合,帮助各位新入门的读者理解深度学习各个模板之间的关系,这些均是在Pytorch上实现的,可以有效的结合当前各位研究生的研究方向,设计人工智能的各个领域,是经过一年时间打磨的精品专栏!

https://v9999.blog.csdn.net/article/details/127587345


欢迎大家订阅(2023版)理论篇

以下为2021版原文~~~~



815902569f6a467a99304f9ac1482386.png


DGL库是由纽约大学和亚马逊联手推出的图神经网络框架,支持对异构图的处理,开源相关异构图神经网络的代码,在GCMC、RGCN等业内知名的模型实现上也取得了很好的效果。


77ef858fe4774802b7aa14acb6d3a80a.png


1 DGL库


1.1 DGL库的实现与性能


实现GNN并不容易,因为它需要在不规则数据上实现较高的GPU吞吐量。


1.1.1 DGL库简介


DGL库的逻辑层使用了顶点域的处理方式,使代码更容易理解。同时,又在底层的内存和运行效率方面做了大量的工作,使得框架可以发挥出更好的性能。


1.1.2 DGL库特点


GCMC:DGL的内存优化支持在一个GPU上对MovieLens10M数据集进行训练(原实现需要从CPU中动态加载数据),从而将原本需要24小时的训练时间缩短到1个多小时。


RGCN:使用全新的异构图接口重新实现了RGCN。减少了内存开销。


HAN:提供的灵活接口可以将一个异构图通过元路径转变成同构图。


Metapath2vec:新的元路径采样实现比原实现快2倍。


1.1.3 分子化学的模型库DGL-Chem


该分子库提供包括分子性质预测和分子结构生成等预训练模型,以及训练知识图谱嵌入专用包DGL-KE。其中DGL-KE的性能更是出色。


在单GPU上,DGL-KE能在7分钟内使用经典的TransE模型训练出FB15K的图嵌入。而GraphVite(v0.1.0)在4个GPU上运算需要14分钟。


DGL-KE的首个版本发布了TransE、CompEx和Distmut模型,支持CPU训练、GPU训练、CPU和GPU混合训练,以及单机多进程训练。


1.2 安装DGL库


1.2.1 查看本地CUDA版本


CMD中输入


nvcc --version


1.2.2 查看版本


CUDA对应的DGL版本查询(64位)

https://conda.anaconda.org/dglteam/linux-64


1.2.3 安装版本


conda install -c dglteam dgl-cuda11.3


8fdb88e448ab498c969c5caa10a6e7c2.png


1.2.4  卸载DGL


若已经安装了不需要的DGL版本,比如0.7.1想替换为0.4.3版本,则要删除现有版本:


默认删除当前DGL:conda uninstall -c dglteam dgl-cuda10.2


(cuda10.2可根据自己的环境调整)


指定删除版本:conda uninstall -c dglteam dgl-cuda10.2==0.5.0

(cuda10.2==0.5.0可根据自己的环境调整,使用 conda list 可以查看使用的当前版本)


1.3 DGL库中的数据集


1.3.1  Sst(Stanford sentiment treebank,斯坦福情感树库)


每个样本都是—个树结构的句子,叶顶点表示单词;每个顶点还具有情感注释,共分为5类(非常消极、消极、中立、积极、非常积极)


1.3.2 KarateCub


数据集中只有一个图,图中的顶点描述社交网络中的用户是否是一家空手道俱乐部中的成员。


1.3.3 CationGraph


顶点表示作者,边表示引用关系。


1.3.4 CORA


顶点表示作者,边表示引用关系。


1.3.5 CORAFUll


CORA数据集的扩展,顶点表示论文,边表示论文间的引用关系。


1.3.6 AmazonCoBuy


顶点表示商品,边表示经常一起购买的两种商,。顶点特征表示产品的评论,顶点的类别标签表示产品的类别。


3.7 Coauthor


顶点表示作者,边表示共同撰写过论文的关系。顶点特征表示作者论文中的关键词,顶点类别标签表示作者的研究领域。


3.8 MiniGCDalaset(即mini graph classification dataset,小型图分类数据集)


包含8种不同类型的图形,包括循环图、星形图、车轮图、棒棒糖图、超立方体图、网格图、集团图和圆形梯形图。


3.9 TUDataset


图形分类中的图形内核数据集。


3.10 GINDataset(即graphLsomorphism network dataset,图同构网络数据集)


图内核数据集的紧凑子集。数据集包含流行的图形内核数据集的紧凑格式,包括4个生物信息学数据集(MUTAG、NCH、PROTEINS、PTC)和5个社交网络数据集(COLAB、IMDBBNARY、MDBMULT、REDDITBINARY,REDDITMULT5K)。


3.11 PPIDataset(即protein-protein interaction dataset,蛋白质-蛋白质相互作用数据集)


数据集包含24个图,每个图的平均顶点数为2372,每个顶点具有50个要素和121个标签。


3.12 QM7b


由7211个分子组成,所有的分子可以回归到14个分类目标。顶点表示原子,边表示键。


1.4 DGL库中数据集的加载


在使用时,可以通过dg.data库中的数据集类直接进行实例化。


实例化的参数要根据每个数据集类的构造函数的定义进行配置。


代码如下:


# 该代码的作用是创建并加载一个同构图数据集。该代码运行后,会自动从网络上下载指定的数据集
# 并解压缩,然后载入到内存,并返回数据集对象dataset。该数据集类与PyTorch的Dataset类兼容。
dataset=GINDataset('MUTAG',self-loop=True) #数据集为MUTAG,使用自环图


1.4.1 数据集加载的Tip


dgldata库中的数据集类规划得并不是太好,有的类直接裸露在数据下面,有的类则被额外封装了一层。


例如,CoraDataset类就被封装在citation_graph.py文件中,载入时需要编写如下代码:


from dgl.data import citation-graph
data = citation_graph.corapataset()
该代码在执行时会读取指定的数据集,并生成邻接矩阵,然后调用NetWorkx模块根据该邻接矩阵生成图以及训练数据集、测试数据集。


因此,在使用DGL的数据集时,还需要在dgl/data路径下单独查找,以库中实际的代码为准。


1.5 DGL库中的图(DGLGraph)


DGLGraph类封装一个特有的图结构,可以理解为DGL库的核心,DGL库中的大部分图神经网络是基于DGLGraph类实现的。


1.6 DGL库中的内联函数


DGL库提供了大量的内联(buit-in)函数,这些函数主要用于对边和顶点进行运算处理,它们的效率要比普通的图处理函数高很多。


DGL库中的内联函数都放在dgl.function模块下。在使用时,要配合DGLGraph图的消息传播机制进行运算。


消息传播机制属于DGL库的底层功能,常会在构建图神经网络模型中使用。


如果只使用DGL库中封装好的图神经网络模型,那么无须深入了解。


2 PYG库


PyG库是基于PyTorch构建的几何深度学习扩展库,可以利用专门的CUDA内核实现高性能。


在简单的消息传递APl之后,它将大多数近期提出的卷积层和池化层捆绑成一个统一的框架,支持CPU和GPU计算,并遵循不变的数据流范式,这种范式可以随着时间的推移动态改变图结构。


3 NetWorkx库


NetWorkk是一个用Python语言开发的图论与复杂网络建模工具,内置了常用的图与复杂网络分析算法,可以方便地执行分析复杂网络数据、仿真建模等任务。


利用NetWorkx可以以标准化和非标准化数据格式存储网络,生成多种随机网络和经典网络,分析网络结构,建立网络模型,设计新的网络算法,进行网络绘制等。


3.1 NetWorkx库的安装和使用


由于NetWorkx库默认集成在Anaconda软件中,因此,如果已经安装了Anaconda,那么可以直接使用NetWorkx库。


3.2 查询NetWorkx库的版本


import networkx
print(networkx.__version__)
# 2.7.1


3.3 NetWorkx库支持的图结构


  1. Graph:无多重边无向图。
  2. DiGraph:无多重边有向图。
  3. MultiGraph:有多重边无向图。
  4. MuliDiGraph:有多重边有向图。


3.4 NetWorkx库中的图数据对象


NetWorkx库中的图数据对象可以通过nx.generate_graphml接口转化成graphm/文件格式的字符串。该字符串是以生成器形式存储的,每一个子图为生成器中的一个元素。


import networkx as nx
G = nx.path_graph(4)
print(list(nx.generate_graphml(G)))


在该代码执行后,会输出graphml文件格式的图数据对象,具体如下:


['<graphml xmlns="http://graphml.graphdrawing.org/xmlns" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://graphml.graphdrawing.org/xmlns http://graphml.graphdrawing.org/xmlns/1.0/graphml.xsd">', '  <graph edgedefault="undirected">', '    <node id="0" />', '    <node id="1" />', '    <node id="2" />', '    <node id="3" />', '    <edge source="0" target="1" />', '    <edge source="1" target="2" />', '    <edge source="2" target="3" />', '  </graph>', '</graphml>']


通过graphml文件格式的描述,实现图数据的文本形式显示,可以通过直接修改graphml文件的内容完成对图数据的维护,比使用接口函数的方式更直接,也更灵活。


3.4.1 graphml文件的持久化


使用nx_writegraphm接口可输出内存中的图对象,待编辑好之后,使用nx.read_graphml接口将文件加载到内存中。


3.4.2 graphml文件的打开方式


graphml的文件使用的是xml格式,可以用yEd Graph Edtor软件打开

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
目录
相关文章
|
2月前
|
机器学习/深度学习 算法 PyTorch
【Pytorch框架搭建神经网络】基于DQN算法、优先级采样的DQN算法、DQN + 人工势场的避障控制研究(Python代码实现)
【Pytorch框架搭建神经网络】基于DQN算法、优先级采样的DQN算法、DQN + 人工势场的避障控制研究(Python代码实现)
|
2月前
|
机器学习/深度学习 算法 PyTorch
【DQN实现避障控制】使用Pytorch框架搭建神经网络,基于DQN算法、优先级采样的DQN算法、DQN + 人工势场实现避障控制研究(Matlab、Python实现)
【DQN实现避障控制】使用Pytorch框架搭建神经网络,基于DQN算法、优先级采样的DQN算法、DQN + 人工势场实现避障控制研究(Matlab、Python实现)
111 0
|
6月前
|
机器学习/深度学习 监控 算法
利用PyTorch处理个人数据集
如此看来,整个处理个人数据集的过程就像进行一场球赛。你设立球场,安排队员,由教练训练,最后你可以看到他们的表现。不断地学习,不断地调整,你的模型也会越来越厉害。 当然,这个过程看似简单,但在实际操作时可能会奇怪各种问题。需要你在实践中不断摸索,不断学习。可是不要怕,只要你热爱,不怕困难,你一定能驯服你的数据,让他们为你所用!
128 35
|
6月前
|
机器学习/深度学习 PyTorch 算法框架/工具
基于Pytorch 在昇腾上实现GCN图神经网络
本文详细讲解了如何在昇腾平台上使用PyTorch实现图神经网络(GCN)对Cora数据集进行分类训练。内容涵盖GCN背景、模型特点、网络架构剖析及实战分析。GCN通过聚合邻居节点信息实现“卷积”操作,适用于非欧氏结构数据。文章以两层GCN模型为例,结合Cora数据集(2708篇科学出版物,1433个特征,7种类别),展示了从数据加载到模型训练的完整流程。实验在NPU上运行,设置200个epoch,最终测试准确率达0.8040,内存占用约167M。
基于Pytorch 在昇腾上实现GCN图神经网络
|
6月前
|
机器学习/深度学习 算法 PyTorch
Perforated Backpropagation:神经网络优化的创新技术及PyTorch使用指南
深度学习近年来在多个领域取得了显著进展,但其核心组件——人工神经元和反向传播算法自提出以来鲜有根本性突破。穿孔反向传播(Perforated Backpropagation)技术通过引入“树突”机制,模仿生物神经元的计算能力,实现了对传统神经元的增强。该技术利用基于协方差的损失函数训练树突节点,使其能够识别神经元分类中的异常模式,从而提升整体网络性能。实验表明,该方法不仅可提高模型精度(如BERT模型准确率提升3%-17%),还能实现高效模型压缩(参数减少44%而无性能损失)。这一革新为深度学习的基础构建模块带来了新的可能性,尤其适用于边缘设备和大规模模型优化场景。
283 16
Perforated Backpropagation:神经网络优化的创新技术及PyTorch使用指南
|
9月前
|
机器学习/深度学习 数据可视化 算法
PyTorch生态系统中的连续深度学习:使用Torchdyn实现连续时间神经网络
神经常微分方程(Neural ODEs)是深度学习领域的创新模型,将神经网络的离散变换扩展为连续时间动力系统。本文基于Torchdyn库介绍Neural ODE的实现与训练方法,涵盖数据集构建、模型构建、基于PyTorch Lightning的训练及实验结果可视化等内容。Torchdyn支持多种数值求解算法和高级特性,适用于生成模型、时间序列分析等领域。
440 77
PyTorch生态系统中的连续深度学习:使用Torchdyn实现连续时间神经网络
|
6月前
|
机器学习/深度学习 搜索推荐 PyTorch
基于昇腾用PyTorch实现CTR模型DIN(Deep interest Netwok)网络
本文详细讲解了如何在昇腾平台上使用PyTorch训练推荐系统中的经典模型DIN(Deep Interest Network)。主要内容包括:DIN网络的创新点与架构剖析、Activation Unit和Attention模块的实现、Amazon-book数据集的介绍与预处理、模型训练过程定义及性能评估。通过实战演示,利用Amazon-book数据集训练DIN模型,最终评估其点击率预测性能。文中还提供了代码示例,帮助读者更好地理解每个步骤的实现细节。
|
6月前
|
机器学习/深度学习 自然语言处理 PyTorch
基于Pytorch Gemotric在昇腾上实现GAT图神经网络
本实验基于昇腾平台,使用PyTorch实现图神经网络GAT(Graph Attention Networks)在Pubmed数据集上的分类任务。内容涵盖GAT网络的创新点分析、图注意力机制原理、多头注意力机制详解以及模型代码实战。实验通过两层GAT网络对Pubmed数据集进行训练,验证模型性能,并展示NPU上的内存使用情况。最终,模型在测试集上达到约36.60%的准确率。
|
6月前
|
算法 PyTorch 算法框架/工具
PyTorch 实现FCN网络用于图像语义分割
本文详细讲解了在昇腾平台上使用PyTorch实现FCN(Fully Convolutional Networks)网络在VOC2012数据集上的训练过程。内容涵盖FCN的创新点分析、网络架构解析、代码实现以及端到端训练流程。重点包括全卷积结构替换全连接层、多尺度特征融合、跳跃连接和反卷积操作等技术细节。通过定义VOCSegDataset类处理数据集,构建FCN8s模型并完成训练与测试。实验结果展示了模型在图像分割任务中的应用效果,同时提供了内存使用优化的参考。
|
6月前
|
机器学习/深度学习 算法 PyTorch
基于Pytorch Gemotric在昇腾上实现GraphSage图神经网络
本实验基于PyTorch Geometric,在昇腾平台上实现GraphSAGE图神经网络,使用CiteSeer数据集进行分类训练。内容涵盖GraphSAGE的创新点、算法原理、网络架构及实战分析。GraphSAGE通过采样和聚合节点邻居特征,支持归纳式学习,适用于未见节点的表征生成。实验包括模型搭建、训练与验证,并在NPU上运行,最终测试准确率达0.665。

热门文章

最新文章

推荐镜像

更多