【博士每天一篇文献-综述】Born to Learn the Inspiration Progress and Future of Evolved Plastic ANNs

阅读时间：2023-12-9

1 介绍

标题：【博士每天一篇文献-综述】Born to Learn the Inspiration Progress and Future of Evolved Plastic Artificial Neural Networks
年份：2018
作者：Andrea Soltoggio,拉夫堡大学；Kenneth O. Stanley，OpenAI；Sebastian Ris，哥本哈根信息技术大学
期刊： Neural Networks
引用量：156
探讨了受生物神经网络启发的进化型可塑人工神经网络（Evolved Plastic Artificial Neural Networks，简称EPANNs）的灵感来源、进展和未来发展方向。

2 创新点

1. EPANN概念的提出：首次明确提出了“进化型可塑人工神经网络（EPANNs）”的概念，并对其进行了系统的论述。
2. 模拟生物智能：EPANNs旨在模拟生物智能的形成过程，包括进化、发育和终身学习，这是对现有人工神经网络模型的重要补充。
3. 自主设计学习系统：EPANNs通过模拟进化过程，能够自主设计学习系统，而不是完全依赖于人类专家的预设。
4. 终身学习能力：EPANNs能够实现终身学习，即在不同的环境和问题领域中不断适应和学习，这模仿了生物神经系统的可塑性。
5. 多信号网络：论文探讨了多信号网络，如神经调节网络，这在以往的研究中并不常见，为网络的复杂性和适应性提供了新的视角。
6. 进化算法的创新应用：论文提出了一系列适合EPANNs的进化算法特性，如可变基因型长度、间接基因型到表型编码等，这些特性有助于处理动态和开放的搜索空间。
7. 跨学科的灵感整合：EPANNs从生物学、计算机科学、神经科学等多个领域汲取灵感，体现了跨学科研究的深度和广度。
8. 新的研究方法和工具：论文提出了利用GPU和神经形态硬件来实现EPANNs的方法，这些工具的使用为该领域的发展提供了新的可能性。

3 相关研究

3.1 启发

1. POE维度：进化（Phylogenetic）、发育（Ontogenetic）和学习（Epigenetic）这三个维度共同促成了生物大脑的可塑性。
2. 当前研究重点：目前的研究集中在抽象层次、种群多样性、选择标准、可进化性和可扩展性等概念上。
3. 可塑性与行为学习有关，先后提出了两种突触可塑性模型Hebb原则和STDP，神经可塑性在学习和记忆巩固中发挥着关键作用。
4. 智能的本质：早期的AI研究侧重于逻辑和推理，但后来发现智能也包括从大脑、身体和环境互动中出现的潜意识问题解决能力。

3.2 EPANNS的属性、目标和进化算法

3.2.1 EPANN属性

（1）进化：EPANN的部分设计由进化算法决定，模仿自然和人工进化过程。
（2）可塑性：网络内处理信号的功能能够响应网络传播的信号而改变，这些信号受刺激影响。
（3）学习发现：通过进化和可塑性的结合，EPANN能在人工神经网络中发现学习动态。
（4）通用性：EPANN的设计不依赖于特定的学习问题或可塑性机制，具有解决多样问题的潜力。

3.3.2 EPANN研究目标

（1）自主设计学习系统：将学习系统的部分设计选择权交给进化过程，以实现自动化设计。

• 从零开始引导学习：系统初始化时不具有学习能力，通过进化获得最佳学习策略。
• 优化性能：系统初始化时具备已知学习能力，进化用于优化性能。
• 恢复未见条件下的性能：学习系统能够适应新问题集，无需人为干预。

（2）测试神经组件的计算优势：验证特定神经动态或组件在实现学习功能时是否具有进化优势。
（3）推导生物学习的假说：通过EPANN研究，提出关于生物学习如何进化的假设。

3.2.3 EPANN的进化算法

（1） 动态搜索空间：EPANNs在动态变化的搜索空间中进化，这与传统的参数优化不同，后者通常涉及固定维度和静态的搜索空间。
（2） 高级特性需求：EPANNs的进化算法需要具备额外的高级特性，以应对学习进化和开放式进化设计的挑战。
（3）理想属性：EPANNs的进化算法应具备以下理想属性

• 可变基因型长度：适应不断变化的复杂性，允许基因型长度随着进化的进行而增长。
• 间接的基因型到表型编码：使用紧凑的遗传信息表示，映射到更大的表型。
• 表达规律性、重复性和模式：利用基因型中的一组指令在表型中生成多个部分。
• 有效的变异和重组：在不破坏解决方案基本性质的前提下，通过变异和重组探索新解决方案。
• 可塑性规则的遗传编码：将可塑性规则整合到基因组中，允许进化搜索任意和通用的可塑性规则。
• 多样性、生存标准和低选择压力：维持种群的多样性，使用局部选择机制和行为多样性。
• 开放式进化：追求可以无限进化更复杂解决方案的开放式进化。

（4）算法实现：许多进化算法已经实现了这些理想属性中的一个或多个，特别是在神经进化领域，这些算法被用来探索标准进化算法的扩展。
（5） EPANN特定算法：为EPANNs设计的特定进化算法，例如NEAT（NeuroEvolution of Augmenting Topologies），利用了多种特性，包括重组操作、物种形成和网络从小到大的进化。
（6） 进化过程：EPANNs通过进化算法在模拟环境中进化，同时在这些环境中学习，以实现自主设计和优化学习系统的目标。

4 进化人工可塑神经网络的进展

4.1 可塑性规则的进化

早期EPANN实验专注于进化固定ANN架构的学习规则参数。研究显示，通过进化优化学习规则可以提高特定任务的性能。
学习规则本质上是改变两个神经元之间连接权重的函数。这些规则通常表示为
$$\Delta w = f(x, \theta) $$
其中x是神经信号的向量， θ \theta θ是可以通过进化搜索来确定的固定参数向量。
可以使用不同的进化方法，如梯度下降、模拟退火和进化搜索，来优化这些学习规则的参数，以解决条件反射、布尔函数映射和分类等问题。此外，进化算法能够自主重新发现一些著名的学习规则，如 Widrow-Hoff 规则（也称为 delta 规则），这证明了进化作为一种自主工具发现学习规则的有效性。

4.2 学习架构的进化

进化算法不仅优化学习规则，还对网络架构进行自由度更高的设计。目标是发现能够协同工作以支持特定学习动态的架构和规则组合。
通过进化算法来设计网络结构，而不仅仅是优化权重参数。这包括搜索最优的隐藏神经元数量、网络层数、特定拓扑或模块、连接类型以及其他网络架构属性。在EPANNs中可以实现有效的网络架构和学习规则的组合。

• Happel 和 Murre (1994) 提出了模块化神经网络的进化设计，这些网络可以执行无监督学习，并且其模块间的连接性由 Hebbian 规则塑造。
• Abraham (2004) 提出了一种名为 Meta-Learning Evolutionary Artificial Neural Networks (MLEANN) 的方法，其中进化用于搜索一系列监督学习问题的初始权重、神经架构和传递函数。
• Khan 等人 (2008) 提出了一种进化发展系统，该系统创建了一个随着学习适应的架构，网络具有动态形态，可以响应刺激插入或删除神经元，以及形成和改变突触连接。

4.3 进化机器人学中的EPANNs

进化机器人（Evolutionary Robotics, ER）是指通过进化算法设计具有适应性和学习能力的机器人。塑性网络在真实硬件的模拟到过渡中表现更佳，并且能够在动态环境中实现更好的适应性和学习。此外，神经调节在调节学习过程和行为适应中的发挥了重要作用，并在复杂和动态任务中，进化算法在自动化设计神经网络结构和学习规则方面发挥了有效性。

4.4 学习进化的发现

（1）静态或稳定环境中的学习
在这类环境中，学习有助于加速进化，因为学习到的信息可以在生命周期内传递给基因型，这种现象被称为鲍德温效应（Baldwin effect）。研究表明，当环境中的事实是静态的时，进化可以导致基因型中嵌入越来越多的信息，从而减少对学习的需求。
（2）动态或非稳定环境中的学习
在这类环境中，由于环境的变化，无法将所有信息静态地编码到基因型中。因此，必须通过进化来发展学习机制，以便在不断变化的环境中实现最佳性能。这类环境通常用于研究EPANNs中的学习进化。

4.5 神经调节的进化

神经调节在生物神经系统中的作用启发了在人工神经网络中，可以作为调节因子，增强或减少网络的可塑性，从而影响学习和行为。使用进化算法来搜索神经调节学习规则的参数，这些规则在奖励驱动的问题中特别有效。利用模拟遗传编码（Analog Genetic Encoding, AGE）结合进化算法，搜索网络拓扑和调节参数。实验表明，调节性神经元有助于网络在变化环境中的学习和适应，并且在某些情况下是维持学习所必需的。进化可能需要找到触发调节的信号和被调节信号靶向的神经元，以实现选择性可塑性。在多机器人系统中，神经调节同样有助于加速学习过程。神经调节有助于解决灾难性遗忘问题，促进记忆的稳定和巩固。

4.6 间接编码可塑性的进化

1. 间接映射：进化操作基于一个紧凑的遗传表示，该表示随后映射到一个更大的表型，类似于从DNA到生物大脑的发育过程。
2. 学习规则的编码：学习规则可能通过间接映射进行编码，使得基因组中的紧凑指令能够扩展到表型中的完整可塑性规则。
3. 早期研究：早期研究使用语法树来编码可塑性和发育，并在简单任务上展示了学习提供的进化优势。
4. HyperNEAT方法：HyperNEAT通过一个进化出来的CPPN（Compositional Patterns Producing Network）来确定ANN节点间的连接权重。
5. 自适应HyperNEAT：自适应HyperNEAT允许在代理的生命周期内不断查询CPPN，以基于神经元位置、活动和当前连接权重来确定个别连接权重的变化。
6. 设计灵活性：自适应ESHyperNEAT为每个突触连接提供了标准或调节性的选项，增加了设计的灵活性。
7. 进化种子：通过进化种子，可以引导特定类型的学习，如自组织形成输入空间的拓扑图。
8. 学习与进化过程：间接编码可以提高EPANN的学习能力，与传统的直接编码相比，能够产生更规则的神经结构。
9. NWB方法：神经权重和偏置更新（NWB）方法将学习规则本身作为一个进化网络，增加了可塑性规则的搜索空间。

5 思考

论文写作站的高度非常高，很宏观。概念性、抽象的内容比较多。里面有一些新的概念比如对 HyperNEAT方法的归纳为间接编码可塑性的进化。