该研究发现在大部分情况下，神经网络的表征是清晰的、稀疏的、符号化的。
本文围绕近期的两项工作，讨论神经网络中符号概念的涌现现象，即『深度神经网络的表征是否是符号化的』的问题。如果我们绕开 “应用技术提升” 的视角，从 “科学发展” 的角度来重新审视 AI，证明 AI 模型中的符号涌现现象无疑是具有重大意义的。
1. 首先，目前大部分的可解释性研究都在试图将神经网络解释为一个 “清晰的”、“语义化的”、或 “逻辑化的” 模型。但是，如果无法证明神经网络的符号涌现，如果神经网络内在表征成分真的有大量的混乱成分，那么大部分的可解释性研究就失去了其基本事实依据。2. 其次，如果无法证明神经网络的符号涌现，深度学习的发展将会大概率困在 “结构”、“损失函数”、“数据” 等外围因素的层面，而无法直接高层的认知层面去实现知识层面的交互式学习。往这个方向发展需要更干净清晰的理论支撑。
因此，本文主要从以下三个方面介绍。
1. 如何去定义神经网络所建模的符号化概念，从而可靠地发现神经网络的符号涌现现象。2. 为什么所量化的符号化概念可以认为是可信的概念（稀疏性、对神经网络表征的 universal matching、迁移性、分类性、对历史解释性指标的解释）。3. 如何证明符号化概念的涌现 —— 即理论证明当 AI 模型在某些情况下（一个并不苛刻的条件），AI 模型的表征逻辑可以解构为极少数的可迁移的符号化概念的分类效用（这部分会在 4 月底公开讨论）。
论文地址：https://arxiv.org/pdf/2111.06206.pdf
论文地址：https://arxiv.org/pdf/2302.13080.pdf
该研究作者包括上海交通大学硕士二年级学生李明杰、上海交通大学博士三年级学生任洁，李明杰和任洁都师从张拳石老师。他们所在的实验室团队常年做神经网络可解释性的研究。对于可解释性领域，研究者可以从不同角度来分析，有解释表征的，有解释性能的，有相对可靠合理的，也有不合理的。但是，深入讨论下去，对神经网络的解释有两个根本的愿景，即「能否清晰且严谨地表示出神经网络所建模的概念」和「能否准确解释出决定神经网络性能的因素」。
在「解释神经网络所建模的概念」这一方向上，所有研究者都必须面对的一个核心问题 ——“神经网络的表征到底是不是符号化概念化的”。如果这个问题回答不清楚，那么后续的研究很难进行 —— 如果神经网络的表征本身都是混乱的，然后研究者强行用一堆 “符号化的概念” 或 “因果逻辑” 去解释，这样一来方向就错了？对神经网络符号化表征的假设，是进行深入研究该领域的基础，但是对此问题的论证往往让人无从下手。
大部分研究者对神经网络的第一直觉是 “它不可能是符号化的吧？” 神经网络毕竟不是图模型。在一篇由 Cynthia 等人撰写的论文中《Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead》 [3]，，让人们误以为对神经网络的事后解释(post-hoc explanation)天然地是不可靠的。
那么，神经网络内在表征真的是非常混乱的？而不是清晰的、稀疏的、符号化的吗？围绕这个问题，我们定义了博弈交互 [4,5]，证明了神经网络表征瓶颈 [6]，研究了神经网络对视觉概念表征的特点 [7,8]，从而证明了交互概念与神经网络泛化和鲁棒性的关系 [9,10,11,12]，进而完善了沙普利值 [13]，但是实验室前期仅仅围绕 “符号化表征” 核心的周边进行探索，始终无法直接探索神经网络表征是否是符号化的。
这里我们先说结论 —— 在大部分情况下，神经网络的表征是清晰的、稀疏的、符号化的。这个结论背后有大量的理论证明，以及大量的实验论证。在理论方面，我们目前的研究证明了一些可以支撑 “符号化” 的特性，但是目前证明还不足以对 “符号化表征” 给出严谨明确的解答。未来几个月，我们会有更加严谨、全面的证明。
如何定义神经网络所建模的概念
在分析神经网络之前，我们需要明确 “如何定义网络所建模的概念”。实际上，对于这一问题，之前已经有了相关研究 [14,15]，并且实验结果也比较优异 —— 但是，我们认为，“概念” 的定义在理论上应有 “严谨性” 的数学保证。
因此，我们在论文 [1] 中定义了 I(S) 这一指标，用来量化概念 S 对于网络输出的效用，这里 S 指的是组成这一概念的所有输入变量的集合。例如，给定一个神经网络
和一个输入句子 x=“I think he is a green hand.”，每个单词可以看成网络的其中一个输入变量，句中的三个词 “a”，“green”，“hand” 可以构成一个潜在的概念 S={a,green,hand}。每个概念 S 表示了 S 中输入变量之间的 “与” 关系：当且仅当 S 中的输入变量全部出现时，这一概念才被触发，从而为网络输出贡献 I (S) 的效用。而当 S 中任意变量被遮挡时，I (S) 这部分效用就从原本的网络输出中移除了。例如，对于 S={a,green,hand} 这一概念，如果把输入句子中的 “hand” 一词遮挡，那么这一概念就不被触发，网络输出中也不会包含这一概念的效用 I (S)。
我们证明了神经网络输出总可以被拆分为所有触发概念效用之和。即在理论上，对于一个包含 n 个输入单元的样本，最多有
种不同的遮挡方式，我们总可以用『少量概念』的效用来『精确拟合』神经网络『所有
种』不同遮挡样本上的输出值，从而证明了 I (S) 的『严谨性』。下图给了一个简单的例子。
进一步，我们在论文 [1] 中证明了 I (S) 满足博弈论中 7 条性质，进一步说明了这一指标的可靠性。
除此以外，我们还证明了博弈交互概念 I (S) 能够解释博弈论中大量经典指标的基本机理，比如 Shapley value [16]、Shapley interaction index [17]，以及 Shapley-Taylor interaction index [18]。具体地，我们可以将这三种指标表示为交互概念的不同线性和的形式。
实际上，课题组的前期工作已经基于博弈交互概念指标来定义 Shapley value 的最优基准值 [13]，并探索视觉神经网络所建模的『原型视觉概念』及其『美观度』[8]。
