阅读时间：2023-12-4
1 思维导图
参考论文：
- YANG J, LI B, LI S, et al. Brain-inspired continuous learning: Technology, application and future[J]. 电子与信息学报, 2022, 44(5): 1865-1878.
2 连续学习分类
参考论文：
- YANG J, LI B, LI S, et al. Brain-inspired continuous learning: Technology, application and future[J]. 电子与信息学报, 2022, 44(5): 1865-1878.
2.1 经典方法
经典连续学习方法主要分为三类：重放方法、正则化方法和稀疏化方法。
2.1.1 重放方法
- 原理：通过重放旧任务数据来恢复被新任务覆盖的知识。
- 代表算法：
- Experience Replay：【End-to-end incremental learning】
- Generative Replay：【Incremental classifier learning with generative adversarial networks】
- 优点：
- 抗遗忘性能较好，能够有效恢复旧任务的知识。
- 对非独立同分布数据流适应力较强。
- 缺点：
- 空间复杂度高，需要存储旧任务数据。
- 面对复杂任务时生成重放数据困难，鲁棒性较弱。
2.1.2 正则化方法
- 原理：通过正则化项保护旧任务中重要的权重，减少新任务学习对旧任务知识的干扰。
- 代表算法：
- Elastic Weight Consolidation (EWC)：【Overcoming catastrophic forgetting in neural networks】
- Learning without Forgetting (LwF)：【Learning without forgetting】
- 优点：
- 空间复杂度低，不需要额外存储旧任务数据。
- 在相似数据流中表现出色。
- 缺点：
- 在变化剧烈的类增量数据流上表现较差。
- 需要动态调整正则化强度，适应性有挑战。
2.1.3 稀疏化方法
- 原理：通过使网络权重稀疏分布，隔离参数间干扰，减少新任务对旧任务知识的影响。
- 代表算法：
- 神经元剪枝(Neuron Pruning)：【Learn-prune-share for lifelong learning】
- 移除对网络的最终输出贡献较小的整个神经元来减少网络的复杂度。
- 权重剪枝(Weight Pruning)：【 Continual learning via neural pruning】
- 将所有被评估为不重要的权重置为零或直接移除这些权重。
- 神经元剪枝(Neuron Pruning)：【Learn-prune-share for lifelong learning】
- 优点：
- 抗遗忘性能和鲁棒性优秀。
- 可以提高网络空间利用率。
- 缺点：
- 空间复杂度较高，需要保留和维护参数。
- 增加了计算复杂度，尤其是在使用神经剪枝算法时。
2.2 脑启发方法
脑启发的连续学习方法主要分为四类：突触启发方法、双系统启发方法、睡眠启发方法和模块化启发方法。
2.2.1 突触启发方法
- 原理：模仿生物突触的可塑性，通过在线计算突触的重要性来保护重要的突触连接。
- 代表算法：
- Elastic Weight Consolidation (EWC)：【Overcoming catastrophic forgetting in neural networks】
- Synaptic Intelligence (SI)：【Continual learning through synaptic intelligence】
- Memory Aware Synapses (MAS)：【Memory aware synapses: Learning what (not) to forget】
- 优点：
- 资源开销相对较小。
- 对于短期连续学习非常有效。
- 缺点：
- 对于变化剧烈的类增量数据流适应力差。
- 长期记忆和知识重用性有待提高。
2.2.2 双系统启发方法
- 原理：借鉴海马体和新皮质层的互补学习系统，通过长短期记忆网络的配合实现连续学习。
- 代表算法：
- Complementary Learning Systems (CLS)：【 A biologically inspired dual-network memory model for reduction of catastrophic forgetting】
- Growing Dual-Memory (GDM)：【Lifelong learning of spatiotemporal representations with dual-memory recurrent self-organization】
- Deep Generative Replay (DGR)：【Continual learning with deep generative replay】
- Generative Replay（GR)：【 Brain-inspired replay for continual learning with artificial neural networks】
- 优点：
- 对复杂类增量场景的适应力强。
- 内存开销小于模块化方法。
- 知识重用率高于突触与睡眠方法。
- 缺点：
- 内存和计算开销随着学习进行逐渐增大。
- 实际部署难度和资源开销相对较高。
2.2.3 睡眠启发方法
- 原理：模仿睡眠过程中的记忆巩固和清理过程，通过在ANN中添加睡眠程序来缓解灾难性遗忘。
- 代表算法：
- 生成重放 (Replay)：【FearNet: Brain-inspired model for incremental learning】
- 睡眠巩固记忆 (Sleep Consolidation)：【Biologically inspired sleep algorithm for artificial neural networks】
- 优点：
- 在内存清理和突触强度调整方面具有独特优势。
- 有助于恢复被遗忘的知识。
- 缺点：
- 抗遗忘性能相对较差。
- 泛化性能有待提高。
2.2.4 模块化启发方法
- 原理：通过隔离参数实现模块化，模仿生物神经网络的模块化机制，减少任务间的干扰。
- 代表算法：
- 模块化网络 (Modular Networks)：【modularity helps organisms evolve to learn new skills without forgetting old skills】
- 神经调节 (Neuromodulation)：【Diffusion-based neuromodulation can eliminate catastrophic forgetting in simple neural networks】
- 阻塞训练 (Block Training)：【Comparing continual task learning in minds and machines】
- 优点：
- 缓解灾难性遗忘效果良好。
- 知识重用率较高。
- 缺点：
- 空间复杂度在所有脑启发方法中最大。
- 内存开销高于其他方法。
