论文标题：InfoGraph: Unsupervised and Semi-supervised Graph-Level

Representation Learning via Mutual Information Maximization

论文链接：https://arxiv.org/abs/1908.01000

论文来源：ICLR 2020

代码地址：https://github.com/fanyun-sun/InfoGraph

之前的相关博客：

MINE：随机变量互信息的估计方法

Deep InfoMax：基于互信息最大化的表示学习

一、概述

本文提出的InfoGraph是一种基于互信息最大化的图对比学习方法，与Deep Graph Infomax（DIM）相比，虽然都是基于互信息最大化的方法，InfoGraph更加侧重于图的表示学习，而DIM偏重于节点的表示学习。

过去的图相关的任务大多是监督学习任务，而图数据的标注通常是困难的和繁琐的，而对于大量的无标注数据未能有效利用。本文提出的InfoGraph侧重于图的无监督表示学习，另外InfoGraph*是在InfoGraph基础上拓展的半监督学习方法。InfoGraph*应用一个类似于Mean-Teacher方法的student-teacher框架，通过让一个encoder学习另一个encoder（最大化两者的互信息）从而在半监督任务上产生了较好的效果。

二、方法

1. 问题定义

• 无监督图表示学习

2. InfoGraph

首先采用一个encoder获得图的节点表示（patch表示），然后使用readout函数来聚合获得的节点表示以得到图的表示。本文采用的encoder通过聚合邻居节点的特征来获得节点的表示：

                                                   InfoGraph算法

3. 半监督InfoGraph

一个比较直接的将无监督的方法拓展成半监督的方式是将无监督的损失作为有监督目标的正则项，如下：

                                       InfoGraph*

这种半监督的InfoGraph方法称为InfoGraph*。注意，InfoGraph*可以看作是student-teacher框架的一个特殊实例。然而，与最近的student-teacher半监督学习方法不同，这些方法使得学生模型的预测与教师模型相似，而InfoGraph*通过在表示的各层上的互信息最大化来实现知识从教师模型向学生模型的转移。

三、实验

本文在MUTAG, PTC, REDDIT-BINARY, REDDIT-MULTI-5K, IMDB-BINARY和IMDB-MULTI一共6个数据集上进行分类任务实验，在QM9数据集上进行半监督实验。实验结果如下：

                                               实验

                                            实验