Paddle图神经网络-学习笔记(一)

简介: Paddle图神经网络-学习笔记(一)

02图游走类模型


DeepWalk

目标:Node embeddings 学习到节点与邻居的关系。得到节点表示,用于下游任务


Word2Vec 应用到 图嵌入领域



节点——>单词


节点序列——>句子


游走方式:Random Walk

本质:可以回头的DFS



整体架构:



问题:图是一个复杂的结构,需要考虑更多因素。


Node2Vec

对DeepWalk的改进结合BFS与DFS模式。



改进:bias random walk



p:控制随机游走以多大的概率back

q:控制随机游走偏向DFS还是BFS


metapath2vec及其变种

异构图如何随机游走?


不考虑节点类型的异构随机游走,缺点:


1.偏向于出现频率高的节点类型;

2.偏向于相对集中的节点(即度数高的节点)

回顾异构图定义:



meta path(元路径):在图中选取的由节点类型构成的组合路径


基于meta path的随机游走




随机游走的时候考虑到节点类型


问题:负采样的时候,没有考虑节点类型


metapath++:负采样的时候,考虑节点类型


变种:multi-metapath2Vec++


利用多条元路径



side info + multi-metapath2vec++



03图神经网络算法(上)


图卷积网络(GCN)

卷积在规则数据上很好应用,如果是不规则的图呢?



从图像卷积类比到图结构卷积

图像卷积

将一个像素点周围的像素按照不同的权重叠加起来。


图结构卷积

将一个节点周围的邻居按照不同的权重叠加起来。



图卷积网络计算公式:

H ( l + 1 ) = σ ( D ~ − 1 2 A ~ D ~ − 1 2 H ( l ) W ( l ) )



这个公式可以一步步来看



1.边上的源节点,往目标节点发送特征


2.目标节点对收到的特征进行聚合


问题:是否所有的人对自己的评价都是有用的?



所以:如何衡量邻居的重要性?


度:给边加权



怎么用多层图网络完成节点分类任务


GCN算法全流程:


第一步:节点间进行特征传递


第二步:对每一个节点过一层DNN


重复L次,实现多层图卷积网络


获取的最终表示H ( L )作为最终节点表示,来分类



图注意力网络(GAT)

GCN中边的权重:


与节点的度相关

不可学习

GAT中的边权重


权重变成节点间的函数

权重与两个节点相关性有关

可学习


attention计算方法

image.png

特征聚合计算方法

image.png

Message Passing

GCN、GAT都是基于邻居聚合的模型


称为Spatial(空间)GNN


大部分的Spatial GNN都可以用Message Passing实现


消息的发送

消息的接收


目录
相关文章
|
23天前
|
存储 算法 网络虚拟化
【计算机网络】学习笔记,第三篇:数据链路层
现在的光纤宽带接入 FTTx 都要使用 PPPoE 的方式进行接入。在 PPPoE 弹出的窗口中键入在网络运营商购买的用户名和密码,就可以进行宽带上网了 利用 ADSL 进行宽带上网时,从用户个人电脑到家中的 ADSL 调制解调器之间,也是使用 RJ-45 和 5 类线(即以太网使用的网线)进行连接的,并且也是使用 PPPoE 弹出的窗口进行拨号连接的
27 5
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
Transformer 能代替图神经网络吗?
Transformer模型的革新性在于其自注意力机制,广泛应用于多种任务,包括非原始设计领域。近期研究专注于Transformer的推理能力,特别是在图神经网络(GNN)上下文中。
16 5
|
5天前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现深度学习模型:图神经网络(GNN)
使用Python实现深度学习模型:图神经网络(GNN)
12 1
|
13天前
|
机器学习/深度学习 搜索推荐 PyTorch
【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术
【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术
72 2
|
2月前
|
机器学习/深度学习 自然语言处理 搜索推荐
【传知代码】图神经网络长对话理解-论文复现
在ACL2023会议上发表的论文《使用带有辅助跨模态交互的关系时态图神经网络进行对话理解》提出了一种新方法,名为correct,用于多模态情感识别。correct框架通过全局和局部上下文信息捕捉对话情感,同时有效处理跨模态交互和时间依赖。模型利用图神经网络结构,通过构建图来表示对话中的交互和时间关系,提高了情感预测的准确性。在IEMOCAP和CMU-MOSEI数据集上的实验结果证明了correct的有效性。源码和更多细节可在文章链接提供的附件中获取。
【传知代码】图神经网络长对话理解-论文复现
|
2月前
|
机器学习/深度学习 JSON PyTorch
图神经网络入门示例:使用PyTorch Geometric 进行节点分类
本文介绍了如何使用PyTorch处理同构图数据进行节点分类。首先,数据集来自Facebook Large Page-Page Network,包含22,470个页面,分为四类,具有不同大小的特征向量。为训练神经网络,需创建PyTorch Data对象,涉及读取CSV和JSON文件,处理不一致的特征向量大小并进行归一化。接着,加载边数据以构建图。通过`Data`对象创建同构图,之后数据被分为70%训练集和30%测试集。训练了两种模型:MLP和GCN。GCN在测试集上实现了80%的准确率,优于MLP的46%,展示了利用图信息的优势。
36 1
|
3天前
|
机器学习/深度学习 数据采集 算法框架/工具
神经网络学习笔记(2)
神经网络学习笔记(2)
|
2月前
|
网络协议 Docker 容器
Ubantu docker学习笔记(七)容器网络
Ubantu docker学习笔记(七)容器网络
|
2月前
|
机器学习/深度学习 数据挖掘 算法框架/工具
想要了解图或图神经网络?没有比看论文更好的方式,面试阿里国际站运营一般会问什么
想要了解图或图神经网络?没有比看论文更好的方式,面试阿里国际站运营一般会问什么
|
18天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】26.卷积神经网络之AlexNet模型介绍及其Pytorch实现【含完整代码】
【从零开始学习深度学习】26.卷积神经网络之AlexNet模型介绍及其Pytorch实现【含完整代码】