DGL(0.8.x) 技术点分析

简介: DGL是由Amazon发布的图神经网络开源库,支持TensorFlow、PyTorch和MXNet。DGL采用消息传递范式进行图计算,包括边上计算、消息函数、点上计算、聚合与更新函数等。其架构分为顶层业务抽象、Backend多后端适配、Platform高效计算适配以及C++性能敏感功能层,确保高效、灵活的图神经网络开发。

DGL为Amazon发布的图神经网络开源库(github)。支持tensorflow, pytorch, mxnet。

如何初始化一个图:

  • 节点ID从0开始标号
  • G = dgl.graph((us, vs)) 一系列点和边,us->vs
  • G.add_nodes(n) 添加n个点
  • G.add_edge(u, v)添加边u->v
  • G.add_edges(u[s], v[s])添加边u[s]->v[s]
  • 节点和边都可以具有特征数据,存储为键值对,键是可选的,值必须是张量
  • G.ndata['x'] = th.zeros((3, 5)) 对所有节点都设置特征数据,名称为x
  • G.ndata['y'] = th.randn(g.num_nodes(), 5) 不同名称的特征数据可以有不同形状
  • G.nodes[[0, 2]].data['x'] = th.ones((2, 5)) 对节点0,2设置特征数据

消息传递范式:

  • 边上计算:计算边信息(涉及消息函数)
  • 消息函数:接受edges,成员包括src, dst, data,得到发出的信息
  • 点上计算:汇总边信息,更新点信息(涉及聚合函数,更新函数
  • 聚合函数: 节点有属性mailbox访问节点收到的信息,并进行聚合操作(min, max, sum等)
  • 更新函数: 用聚合函数的结果对原特征进行更新
  • 高级API
  • update_all: 接受一个消息函数,一个聚合函数,一个更新函数
  • 高效的消息传递代码
  • 实现细节避免消耗大量内存: 大矩阵乘法分拆
  • 在图的一部分上进行消息传递:用想囊括的节点创建一个子图


顶层提供对不同业务抽象

Backend层: 实现多后端适配

Platform层:适配不同架构,支持高效计算

Platform层:适配不同架构,支持高效计算


c++层提供性能敏感功能

python层基于c++能力拓展更多功能,同时算子多态适配不同后端

图网络算子基于python层提供的运算实现



相关文章
|
Python
pycharm使用debug的时候遇到断点不停的问题
pycharm使用debug的时候遇到断点不停的问题
1765 0
|
编解码 安全 算法
Java多线程基础-18:线程安全的集合类与ConcurrentHashMap
如果这些单线程中的集合类确实需要在多线程中使用,该怎么办呢?思路有两个: 最直接的方式:使用锁,手动保证。如多个线程修改ArrayList对象,此时就可能有问题,就可以给修改操作进行加锁。但手动加锁的方式并不是很方便,因此标准库还提供了一些线程安全的集合类。
1151 4
多返回值(Multiple Return Values)- 《Go语言实战指南》
Go 语言支持函数返回多个值,这一特性在实际开发中非常常见,尤其用于错误处理。本文介绍了多返回值的基本语法、用于错误处理的方式、返回值命名、忽略不需要的返回值以及实际应用场景。通过计算商和余数、文件操作、网络响应等示例,展示了多返回值的灵活性。最后总结了使用建议,包括搭配 `error` 实现显式错误控制、命名返回值提升可读性以及用 `_` 忽略无用值等技巧。
500 19
|
机器学习/深度学习 SQL 算法
如何在因果推断中更好地利用数据?
本报告从两个方面来介绍我们如何利用更多的数据来做好因果推断,一个是利用历史对照数据来显式缓解混淆偏差,另一个是多源数据融合下的因果推断。
|
数据可视化 前端开发 JavaScript
数据大屏的简单适配
数据大屏的简单适配
844 1
|
机器学习/深度学习 人工智能 算法
人工智能与机器人的结合:智能化世界的未来
人工智能与机器人的结合:智能化世界的未来
1987 32
|
SpringCloudAlibaba Cloud Native Docker
SpringCloudAlibaba:4.1云原生网关higress的搭建
SpringCloudAlibaba:4.1云原生网关higress的搭建
1134 1
|
搜索推荐 机器人 数据处理
基于大语言模型的 FireRedTTS 语音合成系统
【10月更文挑战第3天】近年来,随着人工智能技术的发展,基于大语言模型的语音合成系统备受关注。FireRedTTS 系统由郭浩瀚等人提出,旨在满足多样化的语音合成需求。该系统分为数据处理、基础系统和下游应用三部分,通过高质量数据集和语义感知架构生成高保真语音信号。其应用场景包括配音和聊天机器人,能够实现零样本语音克隆和可控类人语音合成,提供自然且个性化的交互体验。然而,系统仍面临计算资源和完全自然语音合成等方面的挑战。[了解更多](https://arxiv.org/abs/2409.03283)
1342 3
|
存储 数据库 数据安全/隐私保护
事务管理控制(下)
事务管理控制
458 5
|
Web App开发 数据采集 开发框架
在.NET程序中整合微软的Playwright,使用 Playwright 的最佳实践和技巧
在.NET程序中整合微软的Playwright,使用 Playwright 的最佳实践和技巧

热门文章

最新文章