前面，我们只是通过一个简单的例子来呈现凝聚现象，接下来重要的问题是：参数凝聚是非线性过程中普遍的现象吗？在统计力学相图的启发下，我们在实验发现并理论推导出了两层无限宽ReLU神经网络的相图。基于不同的初始化尺度，以参数在训练前后的相对距离在无限宽极限下趋于零、常数、无穷作为判据，相图划分了线性、临界、凝聚三种动力学态（dynamical regime）。领域内的一系列理论研究（包括NTK，mean-field等）都可以在我们的相图中找到对应的位置[3]。
两层ReLU网络的相图
在三层无穷宽[15]的全连接网络中，我们实验证明在所有非线性的区域，参数凝聚都是一种普遍的现象。理论上，我们证明当初始化尺度足够小的时候，在训练初始阶段就会产生凝聚[4] 。有趣的是，我们在研究Dropout算法的隐式正则化的时候，发现Dropout算法会明显地促进参数凝聚地形成。Dropout算法的想法是Hinton提出的，在神经网络的训练中，以一定概率p保留神经元，是一种常用的技巧，对泛化能力的提升有明显的帮助。我们首先来看一下拟合结果。下面左图是没有用Dropout的例子，放大拟合的函数，可以看到明显的小尺度的波动，右图是用了Dropout的结果，拟合的函数要光滑很多。
Dropout（右）使输出更光滑
仔细看他们的特征分布时，可以看到训练前（蓝色）和训练后（橙色）的分布在有Dropout的情况下会明显不同，且呈现出明显地凝聚效应，有效参数变得更少，函数复杂度也相应变得简单光滑。
Dropout（右）使参数凝聚
进一步，我们分析为什么Dropout会带来凝聚效应。我们发现Dropout的训练会带来一项特殊的隐式正则效应。我们通过下面的例子来理解这个效应。下面黄色和红色两种情况都能合成一个相同的向量，Dropout要求两个分向量的模长平方和要最小，那显然只有当两个向量的方向一致的时候，并且完全相等的时候，它们的模长平方和才能最小，对于w来说，这就是凝聚。
到目前，我们谈了参数凝聚使得神经网络的有效规模变得很小，那为什么我们不直接训练一个小规模的网络？大网络和小网络有什么差异？首先，我们用不同宽度的两层网络来拟合同一批数据，下图展示了它们的损失下降的过程。
不同宽度的网络的损失函数表现出了高度的相似性，它们会在共同的位置发生停留。那在共同的台阶处有什么相似性呢？下面左图可以看到，对于上述箭头指示的台阶，不同宽度网络的输出函数非常靠近。更进一步看它们的特征图（下右图），它们都发生了强烈的凝聚现象。这些体现了它们的相似性。
如果再仔细观察他们的损失图，可以发现当宽度增加的时候，网络的损失函数更容易下降，比如前面箭头指的地方，相对小的网络就停留在台阶上，大的网络的损失才继续下降。从实验上可以看出，大网络凝聚时虽然和小网络在表达能力类似，但看起来大网络更容易训练。
怎么解释不同宽度的网络的相似性以及大网络的优势？在一个梯度下降的训练过程，出现平台的原因很可能是因为训练路径经历某个鞍点（附近有上升方向也有下降方向的极值点）附近。不同宽度的网络似乎会经历相同的鞍点。但参数量不同的网络，它们各自的鞍点生活在不同维度的空间，怎么会是同一点呢？我们证明了不同宽度的网络的损失景观的极值点存在一个嵌入原则(Embedding Principle)[16], 即一个神经网络的损失景观中 「包含」所有更窄神经网络损失景观的所有临界点（包括鞍点、局部最优点和全局最优点等）。简单地说，就是一个网络处理临界点时，通过一些特定的嵌入方式，可以把这个网络嵌入到一个更宽的网络中，嵌入过程能够保持网络输出不变以及宽网络仍然处于临界点。最简单的嵌入方式正是凝聚的逆过程，比如下图是一种一步嵌入方式。更一般的嵌入方式我们在Journal of Machine Learning第一期的文章里[17]有详细讨论。
嵌入原则揭示了不同宽度网络的相似性，当然也提供了研究它们差异性的手段。由于在嵌入的过程中有自由参数，因此在更大网络的临界点的退化程度越大。同样的，一个大网络的损失景观里的临界点，如果它来源于更简单的网络的临界点的嵌入，那么它的退化程度也越大（直观可以理解它占的空间越大）。我们就可以猜测这些越简单的临界点越有可能被学习到。另外，我们在理论上证明，在嵌入的过程中，临界点附近的下降方向、上升方向都不会变少。这告诉我们，一个鞍点被嵌入到一个更大的网络以后，它不可能变成一个极小值点，但一个极小值点被嵌入到大网络以后，它很有可能会变成鞍点，产生更多的下降方向。我们在实验上也证明了嵌入过程会产生更多下降方向。因此，我们有理由相信，大网络尽管凝聚成有效的小网络，但它会比小网络更容易训练。也就是大网络既可以控制模型的复杂度（可能带来更好的泛化），又可以使训练更容易。我们的工作还发现了在深度上神经网络损失景观的嵌入原则[18]。关于凝聚现象，同样还有很多问题值得继续深入。下面是一些例子。除了初始训练外，训练过程中的凝聚现象产生的机制是什么？不同的网络结构是否有凝聚现象？凝聚的过程和频率原则有什么联系？凝聚怎么定量地和泛化建立联系？
总结
过去五年，在深度学习的基础研究方面，我们主要围绕频率原则和参数凝聚两类现象展开工作。从发现它们，意识到他们很有趣，再到解释它们，并在一定程度上基于这些工作去理解深度学习的其它方面和设计更好的算法。未来五年，我们将在深度学习的基础研究和AI for Science方面深入钻研。参考资料：[1] Zhi-Qin John Xu*, Yaoyu Zhang, and Yanyang Xiao, Training behavior of deep neural network in frequency domain, arXiv preprint: 1807.01251, (2018), ICONIP 2019.
[2] Zhi-Qin John Xu* , Yaoyu Zhang, Tao Luo, Yanyang Xiao, Zheng Ma, Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks, arXiv preprint: 1901.06523, Communications in Computational Physics (CiCP).[3]Tao Luo#,Zhi-Qin John Xu #, Zheng Ma, Yaoyu Zhang*, Phase diagram for two-layer ReLU neural networks at infinite-width limit, arxiv 2007.07497 (2020), Journal of Machine Learning Research (2021)[4]Hanxu Zhou, Qixuan Zhou, Tao Luo, Yaoyu Zhang*, Zhi-Qin John Xu*, Towards Understanding the Condensation of Neural Networks at Initial Training. arxiv 2105.11686 (2021), NeurIPS2022.[5] Jihong Wang,Zhi-Qin John Xu*, Jiwei Zhang*, Yaoyu Zhang, Implicit bias in understanding deep learning for solving PDEs beyond Ritz-Galerkin method, CSIAM Trans. Appl. Math.[6] Tao Luo, Zheng Ma,Zhi-Qin John Xu, Yaoyu Zhang, Theory of the frequency principle for general deep neural networks, CSIAM Trans. Appl. Math., arXiv preprint, 1906.09235 (2019).[7] Yaoyu Zhang, Tao Luo, Zheng Ma,Zhi-Qin John Xu*, Linear Frequency Principle Model to Understand the Absence of Overfitting in Neural Networks. Chinese Physics Letters, 2021.[8] Tao Luo*, Zheng Ma,Zhi-Qin John Xu, Yaoyu Zhang, On the exact computation of linear frequency principle dynamics and its generalization, SIAM Journal on Mathematics of Data Science (SIMODS) to appear, arxiv 2010.08153 (2020).[9]Tao Luo*, Zheng Ma, Zhiwei Wang, Zhi-Qin John Xu, Yaoyu Zhang, An Upper Limit of Decaying Rate with Respect to Frequency in Deep Neural Network, To appear in Mathematical and Scientific Machine Learning 2022 (MSML22),[10] Zhi-Qin John Xu* , Hanxu Zhou, Deep frequency principle towards understanding why deeper learning is faster, AAAI 2021, arxiv 2007.14313 (2020)[11] Ziqi Liu, Wei Cai,Zhi-Qin John Xu* , Multi-scale Deep Neural Network (MscaleDNN) for Solving Poisson-Boltzmann Equation in Complex Domains, arxiv 2007.11207 (2020) Communications in Computational Physics (CiCP).[12] Xi-An Li,Zhi-Qin John Xu* , Lei Zhang, A multi-scale DNN algorithm for nonlinear elliptic equations with multiple scales, arxiv 2009.14597, (2020) Communications in Computational Physics (CiCP).[13] Xi-An Li,Zhi-Qin John Xu, Lei Zhang*, Subspace Decomposition based DNN algorithm for elliptic type multi-scale PDEs. arxiv 2112.06660 (2021)[14]Yuheng Ma,Zhi-Qin John Xu*, Jiwei Zhang*, Frequency Principle in Deep Learning Beyond Gradient-descent-based Training, arxiv 2101.00747 (2021).[15]Hanxu Zhou, Qixuan Zhou, Zhenyuan Jin, Tao Luo, Yaoyu Zhang,Zhi-Qin John Xu*, Empirical Phase Diagram for Three-layer Neural Networks with Infinite Width. arxiv 2205.12101 (2022), NeurIPS2022.[16]Yaoyu Zhang*, Zhongwang Zhang, Tao Luo,Zhi-Qin John Xu*, Embedding Principle of Loss Landscape of Deep Neural Networks. NeurIPS 2021 spotlight, arxiv 2105.14573 (2021)[17] Zhongwang Zhang,Zhi-Qin John Xu*, Implicit regularization of dropout. arxiv 2207.05952 (2022)[18]Zhiwei Bai, Tao Luo,Zhi-Qin John Xu*, Yaoyu Zhang*, Embedding Principle in Depth for the Loss Landscape Analysis of Deep Neural Networks. arxiv 2205.13283 (2022)
