基于GCN和DGL实现的图上 node 分类, 值得一看!!!
书接上文，我们在 GraphSage与DGL实现同构图 Link 预测，通俗易懂好文强推 这篇文章中，初步讲解了 图上机器任务 的大致分类以及图上 有无监督任务loss 的区别，并基于作者自己的理解分析了 图上消息传播 的过程。在上文中，我们使用 GraphSage与DGL技术实现了无监督情境下的 链接预测 ，本文我们将继续使用DGL和GCN网络来实现图上的有监督学习之一的 节点分类 ，下面让我我们开始吧～
(1) 图上Node分类任务基础
从上篇文章文章中我们知道：在图上去预测两个节点之间的关系(或边)是否存在的任务，是 典型的链接(关系)预测 任务。在图上 基于图上结构之间的关系对某个节点进行定性性质的分析 ，例如判断一个用户是否是异常用户等，这种任务则是典型的 节点(Node)分类 任务，对每个节点我们是需要 打上label数据 的，二分类就是 0或1 。
从这里我们也可以 推断 出: 和 传统机器学习任务 类似，如果要进行回归任务的话，我们只需要对节点的label数据赋予需要回归出的浮点数即可。
这里我们需要明确的一点就是：我们无论是进行图上节点的 分类还是回归 任务，我们在最后一层DNN的前一层得到logit的时候，该 logit的数据其实携带了该节点周围的邻居节点的关系信息 ，我们是融合了 该节点 以及其 邻居节点 的信息(通常以Embeding的形式存在) 来 对当前节点 进行的 定性形式 的判断。
并且这里所说的节点以及邻居节点的信息，是指节点的 各个属性 ，比较简单的任务可能就是对每个节点就是一个综合的embeding ，而对于复杂的任务，每个节点可能有很多个向量，则我们就要对 各个向量 分别写 适合该属性数据特性 的聚合处理逻辑以及后面接入全链接DNN，也可以把得到各个属性的embeding用一个简单的网络 融合 之后在进行 信息传播 均是可以的。
这里和传统机器学习的不同就是: 传统机器学习做决断用到的信息 都是 独立同分布 的，而这里做决断用到的部分信息是 依赖图的空间结构上处于邻居位置的信息 的，非独立同分布 的。
历史图相关文章链接如下：
（1）一文揭开图机器学习的面纱，你确定不来看看吗
（2）graphSage还是HAN ？吐血力作综述Graph Embeding 经典好文
(3) 看这里，使用docker部署图深度学习框架GraphLearn使用说明
(4) GraphSage与DGL实现同构图 Link 预测，通俗易懂好文强推
本文这里主要讲解的是 基于GCN和DGL实现的图上 Node 分类任务 ，对图上消息传播与各种任务不太熟悉的同学，可以先去看看上面列出的几篇历史文章，其中对图的知识有了大概的讲解。
下面让我们结合代码开始今天的学习吧～
(2) 采样与算子适用性说明
从前一篇文章 GraphSage与DGL实现同构图 Link 预测，通俗易懂好文强推 中，我们可以知道：虽然我们使用了dgl 官方实现的Graph Sage 算子，但是Sage算子的提出最初主要是为了解决GCN任务理论上每次均把所有节点以及他们的邻居节点均 load进内存 导致内存放不下或则 训练速度缓慢 的问题，以及对 没见过的节点进行预测 的问题。
对于上面第二点，我们要引入一个概念就是 直推式学习 (transductive learning) 和 归纳式学习 (Inductive learning) 。传统的GCN就是属于直推式学习, 训练 节点embedding 的时候要看到全图的节点, 其根本原因是因为它使用了 拉普拉斯矩阵 。而 Sage算子 ，则是归纳式学习，因为它的基本逻辑是可以 用“你“的邻居信息归纳出没见过的”你“的信息 ，可以处理未见过你但知道你邻居这种类似的问题。
例如：你在北京的朋友都是程序员或则从事互联网的职业，那你在很大程度上也是程序员或从事互联网的职业…
在前一篇文章中，我们虽然使用了 GraphSage算子，但是我们并没有使用Sage算子与底层原理相契合的 邻居采样 的方式。因为链接预测需要对构造没出现过的边作为负样本，文章中选择了对每个种子节点进行 全局负采样 ，这里的采样就是 必须 的。 而对于节点分类这种任务，属于有监督学习任务，节点的正负由外界赋予的label来确定，所以节点采样是 非必须 的，我们 进行采样必然是为了解决某一类问题 。
Sage算子 具有 采样与 聚合 两种的特性，我们分别在采样和聚合的阶段去利用这种特性，当然这两种都用也是可以的。我们如果不采样，则只是利用来它多种的聚合方式的特性，去聚合所有的邻居节点。当然我们也可以用采样的方式，对每个节点去采样一定数目的邻居，参与Sage算子的聚合阶段。
当然，除了对每个节点的 邻居进行采样 ，我们通常也会对大数据集合进行 分batch训练 ，这两种方式都可以 减小数据对内存 的压力。在DGL中，我们可以采用
dgl.dataloading.NodeDataLoader
接口进行针对 节点 的采样操作，而对 边采样 则可以使用 dgl.dataloading.EdgeDataLoader 接口，可以同时对上述说的两个方面进行工程上的实现，**dgl是我心目中处理图机器学习的 yyds ** 这两个采样算子的接口说明，作者将在后续的文章中将继续写一篇介绍比较复杂的任务的文章，在其中将对算子的使用进行说明～
这里主要拿Sage算子来阐述，主要是想说明：针对不同的任务，例如节点和边的任务，采用不同的算子，用这个算子的什么特性我们都是可以根据自己的数据流程灵活定制，我们在拿到代码的时候，可以去深入思考一下，看使用了什么特性以及怎么搭配能更好的处理我们的任务。这里不光针对Sage算子的采样与聚合，以及后面的同异构图的Attention也是如此。
(3) 代码时光
注意：这里的代码是 基于 gcn 和 dgl 实现的痛构图上有监督的节点分类任务 .
开篇吼一嗓子 ， talk is cheap , show me the code !!! 下面，就让我们开始coding 吧～
(3.1) 导包
@ 欢迎关注微信公众号：算法全栈之路
import argparse import torch import torch.nn as nn import torch.nn.functional as F import dgl.nn as dglnn from dgl import AddSelfLoop from dgl.data import CiteseerGraphDataset, CoraGraphDataset, PubmedGraphDataset
老规矩，先导包。跑起来这个任务，仅仅需要这些包就可以。
(3.2) 模型结构定义
这里我们采用 dgl 官方实现的 graphConv 算子进行邻居节点信息的聚合，不进行邻居节点的采样。
@ 欢迎关注微信公众号：算法全栈之路 class GCN(nn.Module): def __init__(self, in_size, hid_size, out_size): super().__init__() self.layers = nn.ModuleList() # two-layer GCN self.layers.append( dglnn.GraphConv(in_size, hid_size, activation=F.relu) ) self.layers.append(dglnn.GraphConv(hid_size, out_size)) self.dropout = nn.Dropout(0.5) def forward(self, g, features): h = features for i, layer in enumerate(self.layers): if i != 0: h = self.dropout(h) h = layer(g, h) return h
我们可以看到：这里的网络结构选择的是gcn 。在上面的网络结构中，nn.ModuleList中放有2层的GraphConv卷积层，并在其中加入了dropout层。图卷基层之间也是可以加入dropout层的，和传统的深度学习DNN无任何区别。
为了 加深理解 ，我们可以重点关注下gcn模型的初始化参数以及输入输出参数。可以看到：初始化参数包括了模型的输入参数，这里就是节点初始embeding的维度，隐藏维度以及输出维度，h的维度和out_size相同 。在本文，h维度也是和 logit维度相同，等于输出类别数。
(3.3) 模型评估代码
@ 欢迎关注微信公众号：算法全栈之路 # 模型评估，返回准确率 def evaluate(g, features, labels, mask, model): model.eval() with torch.no_grad(): logits = model(g, features) logits = logits[mask] labels = labels[mask] _, indices = torch.max(logits, dim=1) correct = torch.sum(indices == labels) return correct.item() * 1.0 / len(labels)
这里的评估指标是 准确率，衡量的正负样本预测的准确与否。函数的输入是 G图, feature 是节点的原始属性feature，经过gcn后得到logit, 和标签进行比较。
我们可以看到其中用到了 model.eval() 代码。 它的作用是：在评估过程中不启用 Batch Normalization 和 Dropout，一般在测试的代码之前添加，使得在测试时保证BN层能够用全部训练数据的均值和方差，即测试过程中要保证BN层的均值和方差不变。
对于Dropout则是用到了所有网络连接，即不进行随机舍弃神经元。
最后这里，我们可以看到并没有进行交叉熵计算的代码，是因为：加上了交叉熵并不会影响计算出的max logit 的 indeces ，也就不会影响模型评估的准确性了。
(3.4) 训练模块
@ 欢迎关注微信公众号：算法全栈之路 def train(g, features, labels, masks, model): # define train/val samples, loss function and optimizer train_mask = masks[0] val_mask = masks[1] loss_fcn = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=1e-2, weight_decay=5e-4) # training loop for epoch in range(20): model.train() logits = model(g, features) loss = loss_fcn(logits[train_mask], labels[train_mask]) optimizer.zero_grad() loss.backward() optimizer.step() acc = evaluate(g, features, labels, val_mask, model) print( "Epoch {:05d} | Loss {:.4f} | Accuracy {:.4f} ".format( epoch, loss.item(), acc ) )
注意： 这里的损失函数采用的是交叉熵损失，而其实 CrossEntropyLoss相当于softmax + log + nllloss ， 这也就和我们上面的代码是相互映证的。
优化器选择的是 adam， 当我们不知道选择什么优化器好的时候，无脑选择adam 总是能给我们一个不错的结果。
中间train 模块的输入输出参数，可以在下面的主函数中看到，这里就不再多做说明了。
model.train()和 model.eval() 同理，只不过作用相反。
(3.5) 模型输入参数等主函数
我们这里的测试数据，直接采用了dgl官方提供的数据集, 这里提供了三个数据集。
闲言少叙，看代码吧～
@ 欢迎关注微信公众号：算法全栈之路 if __name__ == "__main__": parser = argparse.ArgumentParser() parser.add_argument( "--dataset", type=str, default="cora", help="Dataset name ('cora', 'citeseer', 'pubmed').", ) args = parser.parse_args() print(f"Training with DGL built-in GraphConv module.") # load and preprocess dataset # 添加自环 transform = ( AddSelfLoop() ) # by default, it will first remove self-loops to prevent duplication if args.dataset == "cora": data = CoraGraphDataset(transform=transform) elif args.dataset == "citeseer": data = CiteseerGraphDataset(transform=transform) elif args.dataset == "pubmed": data = PubmedGraphDataset(transform=transform) else: raise ValueError("Unknown dataset: {}".format(args.dataset)) g = data[0] device = torch.device("cuda" if torch.cuda.is_available() else "cpu") g = g.int().to(device) features = g.ndata["feat"] labels = g.ndata["label"] masks = g.ndata["train_mask"], g.ndata["val_mask"], g.ndata["test_mask"] # create GCN model in_size = features.shape[1] out_size = data.num_classes model = GCN(in_size, 16, out_size).to(device) # model training print("Training...") train(g, features, labels, masks, model) # test the model print("Testing...") acc = evaluate(g, features, labels, masks[2], model) print("Test accuracy {:.4f}".format(acc))
我们可以看到： 上述的代码中，有给 图添加自环 的过程 AddSelfLoop ，是因为添加自环可以 有效缓解图的稀疏性 ，能够提高模型的训练效果。
中间的 g = g.int().to(device) 是把图数据转入到device 中，如果训练model的机器有gpu的话，是可以把 数据复制到gpu的显存 里去的。
把上面的代码复制到一个python文件中是可以完美运行的，我这里的 dgl版本选择的是0.9 。代码本身是非常通俗易懂的，望文可以知其意 ，我就不在过多赘述了哈。如果有任何疑问，欢迎关注公众号讨论～
最后在强调一点： 这里的代码和上一篇文章中的代码用了一样的处理方式：节点 feature 不随着网络的更新而更新，如果要随着网络更新，可以去看 GraphSage与DGL实现同构图 Link 预测，通俗易懂好文强推 文章最后介绍的处理方式，或则去关注作者的后面一篇文章，会选择让特征随着网络更新的方式进行更新的代码实现。
宅男民工码字不易，你的关注是我持续输出的最大动力。
接下来作者会继续分享学习与工作中一些有用的、有意思的内容，点点手指头支持一下吧～
了解更多更全内容 ： 算法全栈之路
