2.Layer-wise sampling
2.1 FastGCN
论文标题:FastGCN: fast learning with graph convolutional networks via importance sampling
论文来源:ICLR2018
论文方向:图卷积网络
论文链接:https://arxiv.org/abs/1801.10247
我们已知,GCN的形式为:
从积分的角度看待图卷积,假设图是无限大图的子集,所有结点为独立同分布的结点,满足
则可以应用蒙特卡洛法,对每一层进行采样 个结点, 来近似积分,以前层的结点作为共享邻居集合:
此外为了减少估计方差(Variance Reduction),采用重要性采样(Importance samling),结点根据以下概率分布采样:
2.2 ASGCN
论文标题:Adaptive Sampling Towards Fast Graph Representation Learning
论文来源:NIPS2018
论文方向:图卷积网络
论文链接:https://arxiv.org/abs/1809.05343
对FastGCN的最后一个公式,其最优的解(最小化从 抽样出的结点的方差, )为:
其中 ,而 则是上一层结点从邻居聚集而来的隐层表示。在FastGCN中,则有
为了防止递归困境,为importance sampling学习一个独立的决定其重要性的函数(Adaptive sampling),基于结点的特征 来计算:
因此最终的抽样结点的分布为: