Deep Graph Infomax:互信息最大化的无监督图对比学习

简介: Deep Graph Infomax:互信息最大化的无监督图对比学习

论文标题:DEEP GRAPH INFOMAX


论文链接:https://arxiv.org/abs/1809.10341


论文来源:ICLR 2019


之前的相关博客:


MINE:随机变量互信息的估计方法


Deep InfoMax:基于互信息最大化的表示学习


一、概述


目前主流的无监督图表示学习方法主要依赖于基于随机游走的,然而这一类的方法受到诸多限制。最显著的是,已知的随机游走目标过分强调接近性信息,而牺牲了结构信息,并且方法的效果高度依赖于超参数的选择。本文提出的方法基于互信息估计,依赖于训练一个统计网络作为分类器来区分开组两个随机变量联合分布和边缘分布乘积的样本。本文的方法从Deep InfoMax改进而来,称为Deep Graph Infomax,可以应用在直推式和归纳式的图表示学习任务中。


二、方法


  1. 无监督图表示学习


image.png


  1. 局部-全局互信息最大化


image.png

image.png


所有patch表示都被驱动保持与图表示的互信息,这有助于保持patch层级的相似性,举例来说,图中距离较远但是有相同结构特征的节点之间可以建立联系。


  1. 算法


假设在单图情况下,Deep Graph Infomax的算法流程如下:


image.png


下图以一种直观的方式展示了算法的流程:


image.png

                                                       算法


三、实验


本文对直推式(transductive)和归纳式(inductive)任务都进行了实验,其中既包括单图配置,也包括多图配置,并且主要进行分类任务实验。在实验中DGI在完全无监督的情况下学习表示,然后使用简单分类器(逻辑回归)进行微调。


  1. 数据集


下表展示了本次实验的数据集配置情况:


image.png

                                                   数据集


  1. 实验设置


对于不同类型(直推式、大图归纳式以及多图归纳式)的实验,采用不同的encoder和破坏函数。


  • 直推式学习


encoder采用一个一层GCN:


image.png


  • 大图上的归纳式学习(只有Reddit数据集)


由于GCN的卷积核严重依赖于固定和已知的邻接矩阵,所以在当前配置下采用mean-pooling传播规则的GraphSAGE-GCN:


image.png


image.png


破坏函数与直推式配置类似,但是将minibatch内每个节点采样得到的子图看做独立的图进行破坏(也就是按照行单独打乱这些子图的特征)。这很可能使得中心节点在负样本图中的特征被替换为采样邻居的特征,从而增加了负样本的多样性。最后在中心节点中得到的patch表示被输入给discriminator。


上述过程如下图所示:


image.png

                                           框架


  • 多图上的归纳式学习(只有PPI数据集)


对于PPI数据集,受以前成功的监督架构的启发,该配置下的encoder如下:


image.png


负样本就是训练集中的其他图,为了增强负样本的多样性,也会对采样到的负样本图的特征进行dropout。另外实验发现,在将学习到的表示提供给逻辑回归模型之前,将它们标准化是有益的。


  • Readout, discriminator等


不同的数据集配置采用同样的readout函数和discriminator架构。


Readout函数采用简单的节点特征平均:


image.png


另外所有模型使用Glorot initialization初始化,其他具体实验设置参看原文。


  1. 实验结果


下图展示了在多个数据集上的实验结果:


image.png

                                                 实验


另外使用t-SNE进行了特征的可视化:


image.png

                                                  t-SNE        

相关文章
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
ICLR 2024 Spotlight:训练一个图神经网络即可解决图领域所有分类问题!
【2月更文挑战第17天】ICLR 2024 Spotlight:训练一个图神经网络即可解决图领域所有分类问题!
189 2
ICLR 2024 Spotlight:训练一个图神经网络即可解决图领域所有分类问题!
|
机器学习/深度学习 PyTorch 算法框架/工具
【论文泛读】 ResNeXt:深度神经网络的聚合残差变换(ResNet的改进,提出了一种新的维度)
【论文泛读】 ResNeXt:深度神经网络的聚合残差变换(ResNet的改进,提出了一种新的维度)
【论文泛读】 ResNeXt:深度神经网络的聚合残差变换(ResNet的改进,提出了一种新的维度)
|
6月前
|
存储 算法 前端开发
R语言中贝叶斯网络(BN)、动态贝叶斯网络、线性模型分析错颌畸形数据
R语言中贝叶斯网络(BN)、动态贝叶斯网络、线性模型分析错颌畸形数据
|
6月前
|
机器学习/深度学习 存储 数据可视化
R语言混合效应逻辑回归(mixed effects logistic)模型分析肺癌数据
R语言混合效应逻辑回归(mixed effects logistic)模型分析肺癌数据
|
6月前
|
机器学习/深度学习 自然语言处理 算法
【论文精读】COLING 2022 -带有对偶关系图注意力网络的事件检测模型
【论文精读】COLING 2022 -带有对偶关系图注意力网络的事件检测模型
|
机器学习/深度学习
时间序列预测模型 MLP DNN网络详解 完整代码
时间序列预测模型 MLP DNN网络详解 完整代码
170 0
|
机器学习/深度学习 传感器 算法
Matlab 向量加权优化双向长短期记忆网络(INFO-BILSTM)的回归预测
Matlab 向量加权优化双向长短期记忆网络(INFO-BILSTM)的回归预测
|
机器学习/深度学习 人工智能 自然语言处理
【推荐系统】隐语义模型(LFD)与矩阵分解(Matrix Factorization)
【推荐系统】隐语义模型(LFD)与矩阵分解(Matrix Factorization)
192 0
【推荐系统】隐语义模型(LFD)与矩阵分解(Matrix Factorization)
|
机器学习/深度学习 数据可视化 算法框架/工具
使用Deep Replay可视化神经网络学习的过程
使用Deep Replay可视化神经网络学习的过程
90 0
使用Deep Replay可视化神经网络学习的过程