论文标题：Graph Contrastive Learning Automated

论文链接：https://arxiv.org/abs/2106.07594

论文来源：ICML 2021

之前的相关博客：GraphCL：基于数据增强的图对比学习

一、概述

与图片数据不同，图数据来源于多个不同的领域，不同来源的图数据性质差异很大，因此在进行数据增强时不同的数据集可能会适应不同的方式。在GraphCL中采用了多种不同的数据增强方式，但是对于具体的数据集来说需要通过手工挑选特定的增强方式。数据增强方式的选择遵循经验法则，通常是从每个数据集的反复试验中总结出来的。对于这个问题，本文提出了 JOint Augmentation Optimization (JOAO)框架来进行数据增强方式的自动选择。JOAO是一个基于对抗方式的min-max双层训练框架，其特点是：

①自动的，完全不需要人工选择数据增强的方式；

②自适应的，平滑泛化处理不同的图数据；

③动态的，允许在不同的训练阶段选用不同的数据增强。

另外需要强调两点：

①JOAO不一定要与GraphCL绑定，也可以与其他图对比学习框架结合；

②JOAO主要关注数据增强方式的自动化选择，其目标是能够达到SOTA的效果，而不一定要超越它。

二、方法

1. GraphCL

                                                   GraphCL

2. JOAO

• 框架

JOAO受对抗训练的启发，采用交替梯度下降的min-max优化框架，始终利用当前对比损失的最具挑战性的数据增强：

                                                     算法

• 上层优化

那么现在下层优化的形式为：

• JOAO中的多映射头

                                                   JOAOv2

损失函数为：

三、实验

1. JOAO与GraphCL手工选择的对比

下图对比了GraphCL论文中实验结果与JOAO选择的结果：

                                                     对比

2. 半监督学习

半监督学习实验：

                                                     半监督学习

3. 无监督学习

无监督学习实验：

                                                     无监督学习

4. 迁移学习

迁移学习实验：

                                                         迁移学习

5. 大规模数据集

半监督大规模数据集实验：

                                                大规模数据及

6. 总体实验结果

                                                         实验