收录于合集
#顶会论文分享4个
#隐语小课23个
#联邦学习7个
在7月份举办的IJCAI-ECAI2022（第31届国际人工智能联合会议与第25届欧洲人工智能会议）上，蚂蚁集团参与撰写的论文《针对Node分类任务的隐私保护纵向联邦图神经网络》被收录。
IJCAI2022接收投稿超过4500篇，录用率仅为15%。隐语团队与浙江大学等团队的论文针对数据垂直分割场景提出了VFGNN模型，以完成隐私保护的节点分类任务，并且该算法可拓展于其他GNN模型，对广泛解决实际业务场景中数据分属不同持有方的“数据孤岛”问题具有重要意义。
数据垂直分割场景常见于实际业务中跨行业/跨服务范围的机构之间，当前社会数字化转型进程中，同业间联动发展相对靠前，以技术手段助力跨行业间的安全数据流通，对于数字经济整体发展具有重要意义，更有利于为人民生活创造更多更广的新型便利服务。
图神经网络即一种基于图结构的深度学习方法，具备处理非结构化数据（例如社交网络、交通网络、知识图谱、复杂的文件系统等）的出色能力，正是各大深度学习顶会的研究热点，以差分隐私加持，模型将具备更强的隐私保护能力，探查更广泛的数据价值。
- 摘要
GNN模型在很多实际任务中都取得了非常优异的效果，这也离不开图数据中丰富的特征数据和边数据。然而，这些数据在实际业务场景中可能会分属于不同的数据持有方，受限于数据隐私保护的要求，导致了数据孤岛问题。本文提出了VFGNN模型，在保护数据隐私的前提下，完成数据垂直分割场景（特征空间不同、样本空间相同）中的节点分类任务。该算法可以被推广到其它GNN模型。VFGNN模型将计算图分成两部分，把与隐私数据（即特征、边和标签）相关的计算留给数据持有方，而把损失函数相关的计算留给semi-honest服务器。此外，我们利用差分隐私保护数据持有方输出的信息，进一步提高模型的隐私保护能力。
1. 问题
图1在数据垂直分割场景中，假设三个数据持有方 A,B,C拥有相同的四个节点。如图1所示，特征是垂直切分的，数据持有方A的节点拥有三个维度的特征(f1,f2,f3)，数据持有方B的节点拥有两个维度的特征(f4,f5)，数据持有方B的节点拥有两个维度的特征(f6,f7)。与此同时，不同数据持有方上，节点之间的边不同。假设只有 A 包含节点标签信息，我们要解决的问题是，如何利用A、B、C三方的数据构建一个联邦GNN模型。
2. 方法（VFGNN模型）
图2如图2所示，VFGNN的计算分成三部分：（1）隐私特征数据相关计算如图2中红色部分所示，GNN的第一步是使用节点的隐私特征数据生成节点的初始embedding。在垂直场景中，数据持有方之间节点相同，但每个节点上的特征不同。首先数据持有方之间基于MPC联合计算得到每个节点上的初始embedding（如图2 step1所示），然后数据持有方利用多阶邻居上的初始embedding生成每个节点上最终的本地embedding（如图2 step2 所示）。（2）非隐私数据相关计算为了提高模型效率，我们将非隐私数据相关的计算放在服务器上进行。如图2中绿色部分所示，首先，服务器利用某种融合方法得到每个节点的全局embedding（如图2 step3所示），融合方法可以是求均值、求和、按列拼接等等；然后服务器使用全局embedding进行后续的计算，得到server模型的输出结果
；最后服务器将输出结果发回给有标签的数据持有方。
需要注意的是，由于在server模型中存在很多非线性计算，如最大池化函数、Relu激活函数等。如果采用纯密态空间的方式进行计算，以同态加密为例，需要用高阶多项式对非线性激活进行近似。因为这种计算方式的准确性和效率比较低的。所以本文中服务器进行该部分模型的明文计算。这种方式不仅可以提高模型准确度，还可以大大改善模型效率。（3）隐私标签数据相关计算如图2中蓝色部分所示，拥有标签的数据持有方从服务器接收到
，并计算标签的预测结果。以分类任务为例，使用Softmax函数处理
，即：
.其中c为分类的类别。标签持有方根据标签的预测值和实际值计算得到损失函数，进而进行后向传播更新所有模型。
3.核心计算步骤
本部分重点介绍图2中的三个核心的计算步骤。
（1）计算初始embedding
图3
图4由于数据持有方之间的特征数据是垂直切分的，所以一般有两种方式生成每个节点的embedding，即独立计算和联合计算。如图3所示，假设有A，B，C三个数据持有方，在独立计算过程中，每一方只利用自身特征数据
和权重矩阵
，分别计算各自的初始embedding，即
。如图四所示，在联合计算过程中，数据持有方基于密码学的方法联合生成统一的初始embedding，在本文中我们采用了加法秘密分享的方法。
（2）计算本地embedding本文中我们采用GraphSAGE的方法，根据3.1中得到的初始embedding，每一个数据持有方聚合邻居节点的信息，得到每个节点最终的本地embedding，如下面公式所示：
上述公式中所示的AGG方法可以是Mean，LSTM或者Pooling等。
（3）计算全局embedding服务器接收到所有数据持有方的本地embedding，融合得到全局的embedding。本文中我们设计了三种融合方式：
- Concat。按列拼接，即：
- Mean 求均值，即：
- Regression 回归，即：
4.隐私增强
在前向传播过程中，数据持有方将本地的embedding直接发送至服务器；在后向传播过程中，标签持有方直接将梯度发送至服务器，因此会导致隐私泄漏的风险。为了增强整体的隐私保护能力，我们引入差分隐私保护前向embedding和后向梯度。在本文中，我们采用了两种差分隐私机制：Gaussian噪声和James-SteinEstimator。噪声生成机制参考原文。
5.实验结果
表1数据集统计信息
如表1所示，我们在Cora、Pubmed、Citeseer、arXiv四个图数据集上进行实验。将分布式训练中，验证集准确性的平均值作为模型的评估结果。假设只有A和B两个数据持有方，我们将特征维度平均分配给A和B，并对比不同模型在不同数据集上的效果。如表2所示，GraphSAGEA代表单独利用A方的数据进行训练得到的实验结果，相应的，GraphSAGEB代表单独利用B方的数据进行训练得到的实验结果;VFGNN_C代表利用3.3中Concat方法得到的结果，VFGNN_M代表利用3.3中Mean方法得到的结果，VFGNN_R代表利用3.3中Regression方法得到的结果；GraphSAGEA+B代表将完整数据放在一起，在GraphSAGE模型上得到的结果。
表2模型准确性对比结果
从表2中可以得到，VFGNN方法无论是采用哪种融合方式，模型准确性均超过单独利用一方数据得到的结果（GraphSAGEA和GraphSAGEB）。显而易见，GraphSAGEA和GraphSAGEB只能利用部分数据进行训练，VFGNN可以利用所有数据持有方的数据进行训练，因此模型效果更优。
与此同时，由表2可得，VFGNN与GraphSAGEA+B的模型准确性近似。这是因为VFGNN在进行训练过程中，一方面，单方的初始embedding是利用了所有数据持有方的数据生成的，另一方面，虽然各方之间的边信息并不完整，但是我们采用了三种融合方法，弥补了这个弱点，
表3数据拆分比例对VFGNN的影响
我们分析了数据拆分比例对VFGNN的影响，如表3所示，数据拆分比例越均匀，模型的准确性越低。这是因为在不均匀的情况下，拥有大部分数据的一方可以得到更准确的初始embedding，因此模型准确性越高。
表4数据持有方的数量对VFGNN的影响
我们分析了数据持有方数量对VFGNN的影响，如表2所示，数据持有方的数量越多，模型准确性越低。这是因为图数据的边是平均分配，随着数据持有方的数量的增大，单方持有的数据就越少，因此整体模型的效果就越差。
表5差分隐私对VFGNN的影响
如表5所示，我们分析了差分隐私中不同的
对应的模型准确性，
越大，模型准确性越高，与此同时我们发现James-Stein噪声的效果明显好于Gaussian噪声，具体原因的分析详见原文3.5部分。
- 论文之外的世界：一些技术应用分享
本篇论文研究主要聚焦垂直场景下的隐私保护图神经网络，属于隐私计算与图机器学习的交叉方向，广泛应用于医药研发、金融风控等领域。
具体来说：
高科技药企之间可以利用各自的药物分子的化学结构信息，进行联合研发，进而发现更为安全有效的药物。
银行、证劵、保险等金融公司利用各自的用户特征信息进行联合训练，可以更为精准的预测欺诈、赌博、洗钱等行为，防范金融风险，保护用户财产安全。
随着隐私保护需求的提升和图数据量的大规模增长，隐私保护图神经网络必将得到更为广泛的应用，以及给用户带来更大的商业价值。
顶会信息书签：IJCAI（InternationalJoint Conference on ArtificialIntelligence）-国际人工智能联合会议：是人工智能领域最顶级的国际学术会议之一，是CCF推荐A类会议，CoreConference RankingA*类会议。自2016年起每年召开，有时还会和其他地区性的人工智能会议一起召开，常为该年举办地的所属的地区性质会议，今年的第31届国际人工智能联合会议与第25届欧洲人工智能会议（EuropeanConference on Artificial Intelligence，简称ECAI）联合举办。
