MPNN：消息传递神经网络

2022-06-08 570

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： MPNN：消息传递神经网络

论文标题：Neural Message Passing for Quantum Chemistry

论文链接：https://arxiv.org/abs/1704.01212

论文来源：ICML 2017

一、概述

近年来，随着量子化学计算和分子动力学模拟等实验的展开产生了巨大的数据量，大多数经典的机器学习技术都无法有效利用目前的数据。而原子系统的对称性表明，能够应用于网络图中的神经网络也能够应用于分子模型。所以，找到一个更加强大的模型来解决目前的化学任务可以等价于找到一个适用于网络图的模型。

本文的目标是证明：能够应用于化学预测任务的模型可以直接从分子图中学习到分子的特征，并且不受到图同构的影响。本文提出的MPNN是一种用于图上监督学习的框架，能够概括之前一些文献提出的一些方法，并且能够按照这个框架提出一些新的架构。本文提出的新的MPNN变种基于实际的应用场景：预测有机小分子的量子力学性质。并且，作者希望以后提出的新的MPNN变种能够从实际的应用出发，从实际应用中获得启发。

本文以QM9作为benchmark数据集，这个数据集由130k个分子组成，每个分子有13个性质，这些性质是通过一种计算昂贵的量子力学模拟方法（DFT）近似生成的，相当于13个回归任务。这些任务似乎代表了许多重要的化学预测问题，并且目前对许多现有方法来说是困难的。

本文提出的模型的性能度量采用两种形式：

①DFT近似的平均估计误差；

②化学界已经确立的目标误差，称为“化学精度”。

二、消息传递神经网络

WHL`PTJ_NXM9@L6MR_83R$R.png

Convolutional Networks for Learning Molecular Fingerprints, Duvenaud et al. (2015)

本文提出的模型采用的消息函数是：

E~~Z1[3}E2@RH)73C6CFGE7.png

Gated Graph Neural Networks (GG-NN), Li et al.(2016)

消息函数为：

Interaction Networks, Battaglia et al. (2016)

L589J1@)HM24B[ZOO4SY0`4.png

Molecular Graph Convolutions, Kearnes et al. (2016)

这个模型与之前的MPNNs稍微有一些不同，是因为它引入了边的表示 FB[D9B16B[VPNY$68MMO`)W.png ，并且会在消息传递阶段进行更新。消息函数为：

)DRSIN}G4S)44QZUL@29YIH.png

Deep Tensor Neural Networks, Sch¨utt et al. (2017)

消息函数为：

TEV5AJN1EXOKVEL~@E56JO9.png

Laplacian Based Methods, Bruna et al. (2013); Deffer�rard et al. (2016); Kipf & Welling (2016)

8篇文献中有3篇属于这一类。其中两篇采用消息函数：

XY}_XB59U$R0S9S_[H`H`JY.png

三、MPNN变种

消息函数

IG75WFXG05ZXDOT)6V{6O6H.png

虚拟图形元素

本文探索了两种方式来改变模型中信息的传递。第一种是为未连接的节点对添加一个单独的“虚拟”边类型。这一处理可以在预处理时实现，效果是可以使得在传播过程中让信息传播更远的距离。

另一种方式是添加一个“master”节点，让它通过一种特殊类型的边与所有节点连接。“master”节点充当全局暂存空间，每个节点在消息传递的每个步骤中都对其进行读写操作。另外“master”节点拥有单独的节点维度 $`[ZZE_{NJENZ~1Q(O4L_1_F.png$ ，以及内部更新函数（实验中是GRU）的单独权重。这同样可以使得在传播过程中让信息传播更远的距离。这样可以允许模型有更大的容量，同时也不会过多的损失效率，其复杂度为 [{Y$O~~BOSMEPK[VIP}U0P6.png 。