针对第二个关键点，我们探究发现，所有 14 种现有经验性归因算法的内在机理，都可以表示对上述独立效用和交互效用的一种分配，而不同归因算法按不同的比例来分配神经网络输入单元的独立效用和交互效用。具体地，令
表示第 i 个输入单元的归因分数。我们严格证明了，所有 14 种经验性归因算法得到的
，都可以统一表示为下列数学范式（即独立效用和交互效用的加权和）：
其中，
反映了将第 j 个输入单元的独立效应分配给第 i 个输入单元的比例，
表示将集合 S 内多个输入单元间的交互效应分配给第 i 个输入单元的比例。众多归因算法的 “根本区别” 在于，不同归因算法对应着不同的分配比例 
。
表 1 展示了十四种不同的归因算法分别是如何对独立效应与交互效应进行分配。
图表 1. 十四种归因算法均可以写成独立效应与交互效应加权和的数学范式。其中
分别表示泰勒独立效应和泰勒交互效应，满足
，是对独立效应
和交互效
的细化。
评价归因算法可靠性的三大准则
在归因解释研究中，由于无从获得 / 标注神经网络归因解释的真实值，人们无法从实证角度评价某一个归因解释算法的可靠性。“缺乏对归因解释算法可靠性的客观评价标准” 这一根本缺陷，引发了学界对归因解释研究领域的广泛批评与质疑。
而本研究中对归因算法公共机理的揭示，使我们能在同一理论框架下，公平地评价和比较不同归因算法的可靠性。具体地，我们提出了以下三条评估准则，以评价某一个归因算法是否公平合理地分配独立效应和交互效应。
（1）准则一：分配过程中涵盖所有独立效应和交互效应。当我们将神经网络输出解构为独立效应与交互效应后，可靠的归因算法在分配过程中应尽可能涵盖所有的独立效应和交互效应。例如，对 I’m not happy 句子的归因中，应涵盖三个单词 I’m, not, happy 的所有独立效应，同时涵盖 J (I’m, not), J (I’m, happy), J (not, happy), J (I’m, not, happy) 等所有可能的交互效应。
（2）准则二：避免将独立效应和交互分配给无关的输入单元。第 i 个输入单元的独立效应，只应分配给第 i 个输入单元，而不应分配给其它输入单元。类似地，集合 S 内输入单元间的交互效应，只应分配给集合 S 内的输入单元，而不应分配给集合 S 以外的输入单元（未参与交互）。例如，not 和 happy 之间的交互效应，不应分配给单词 I’m。
（3）准则三：完全分配。每个独立效应（交互效应）应当完全分配给对应的输入单元。换句话说，某一个独立效应（交互效应）分配给所有对应输入单元的归因值，加起来应当恰好等于该独立效应（交互效应）的值。例如，交互效应 J (not, happy) 会分配一部分效应
(not, happy) 给单词 not，同时分配一部分效应 
(not, happy) 给单词 happy。那么，分配比例应满足 
。
接着，我们采用这三条评估准则，评估了上述 14 种不同归因算法（如表 2 所示）。我们发现，Integrated Gradients, Expected Gradients, Shapley value, Deep Shap, DeepLIFT Rescale, DeepLIFT RevealCancel 这些算法满足所有的可靠性准则。
表 2. 总结 14 种不同归因算法是否满足三条可靠性评估准则。
作者介绍
本文作者邓辉琦，是中山大学应用数学专业的博士，博士期间曾在香港浸会大学和德州农工大学计算机系访问学习，现于张拳石老师团队进行博士后研究。研究方向主要为可信 / 可解释机器学习，包括解释深度神经网络的归因重要性、解释神经网络的表达能力等。
邓辉琦前期做了很多工作。张老师只是在初期工作结束以后，帮她重新梳理了一遍理论，让证明方式和体系更顺畅一些。邓辉琦毕业前论文不是很多，21 年末来张老师这边以后，在博弈交互的体系下，一年多做了三个工作，包括（1）发现并理论解释了神经网络普遍存在的表征瓶颈，即证明神经网络更不善于建模中等复杂度的交互表征。这一工作有幸被选为 ICLR 2022 oral 论文，审稿得分排名前五（得分 8 8 8 10）。（2）理论证明了贝叶斯网络的概念表征趋势，为解释贝叶斯网络的分类性能、泛化能力和对抗鲁棒性提供了新的视角。（3）从理论层面上解释了神经网络在训练过程中对不同复杂度交互概念的学习能力。
扩展阅读，「统一 12 种提升对抗迁移性的算法」：https://zhuanlan.zhihu.com/p/546433296
