【博士每天一篇文献-综述】A Comprehensive Survey of Continual Learning Theory, Method and Application

简介: 本文综述了持续学习的理论基础、方法论和应用实践,探讨了五种主要的解决策略,包括基于回放、架构、表示、优化和正则化的方法,并深入分析了持续学习的不同场景、分类、评价指标以及面临的挑战和解决方案。

阅读时间:2023-10-19

1 简介

从不同的角度去解决连续学习的五种方法

  • 基于回放的方法:近似和恢复旧的数据分布
  • 基于架构的方法:使用设计良好的架构构建任务自适应参数
    • 构建任务特定的参数
  • 基于表示的方法:学习强健且具有良好泛化能力的表示
    • 是一种在持续学习中创造和利用表示优势的方法。它包括使用自监督学习和大规模预训练等策略来改进初始化和持续学习中的表示。该方法通过构建和利用表示来解决持续学习中的挑战,例如遗忘和表示偏移。通过使用自监督学习和预训练,可以获得更稳健的表示,并在新任务中保持泛化能力。对于持续预训练和元训练,它们还涉及到在上游持续学习阶段改进下游任务性能的问题。在表示为基础的方法中,有多种子方向可以选择,如自监督学习、生成式回放和特征回放等。这些方法通过创建和利用表示来提高持续学习的性能和效果。
  • 基于优化的方法:明确操纵优化程序
  • 基于正则化的方法:使用参考旧模型添加正则化项

截屏2023-10-14 下午5.55.09.png
由于数据标记的成本和稀缺性,持续学习需要对少量、半监督甚至无监督的场景有效。

2 理论基础和分析

(1)按情景对CL分类

  • 实例增量学习(IIL):所有训练样本属于同一任务,并按批次到达。
  • 领域增量学习(DIL):任务具有相同的数据标签空间,但具有不同的输入分布。不需要任务标识。
  • 任务增量学习(TIL):任务具有不相交的数据标签空间。训练和测试中都提供任务标识。
  • 类增量学习(CIL):任务具有不相交的数据标签空间。训练中只提供任务标识。
  • 无任务持续学习(TFCL):任务具有不相交的数据标签空间。训练和测试都不提供任务标识。
  • 在线持续学习(OCL):任务具有不相交的数据标签空间。每个任务的训练样本作为一次性数据流到达。
  • 模糊边界的持续学习(BBCL):任务边界模糊,特点是数据标签空间明确但有重叠。
  • 持续预训练(CPT):预训练数据按顺序到达。目标是提高学习下游任务的性能。

(2)按样本数量分类

  • 零样本[135],[399]
  • 少样本[416]
  • 半监督[441]
  • 开放世界(即识别未知类别,并融入它们的标签)[197],[445]
  • 无监督/自监督[170],[365]

(3)评价指标

  • 综合指标
    • 平均准确率AA
    • 平均增量准确率AIA
  • 记忆稳定性
    • 遗忘测量(FM)
    • 向后迁移(BWT)
  • 学习可塑性
    • 暂态测量(IM)
    • 前向迁移(FWT)

(4)方法分类
第一种方法:重放旧样本
第二种方法:训练生成模型来近似和恢复旧数据分布
第二种方法:在贝叶斯框架中进行参数更新,并传播旧数据分布。基于网络参数的先验p(θ),使用贝叶斯定理计算在观察到第k个任务后的后验概率

3 启发

1、 重放replay的方法是存储旧样本的分布,可不可以通过PCA去降维过去样本的,保留样本的分布,而不是原始样本?
2、在一个模型中,使用重放和其他方法,一起来做,看看效果?
3、必须复现一下

4 代码

https://github.com/yashkant/Elastic-Weight-Consolidation

目录
相关文章
|
机器学习/深度学习 监控
大模型开发:你如何在保持模型性能的同时减少过拟合的风险?
为应对大模型过拟合,采用正则化(L1/L2/Dropout)、早期停止训练以监控验证集性能,通过数据增强提升模型泛化能力,选择适合问题复杂度的模型,使用集成方法(如Bagging/Boosting)增强稳定性,以及利用预训练模型进行迁移学习。这些策略结合使用能有效降低过拟合风险,提高模型泛化性能。
1346 2
|
计算机视觉
如何理解focal loss/GIOU(yolo改进损失函数)
如何理解focal loss/GIOU(yolo改进损失函数)
|
数据采集 存储 算法
终于有人把数据挖掘讲明白了
在大数据时代,许多企业面临一个难题:数据存储量庞大,却难以从中挖掘真正价值。本文深入探讨了数据挖掘的核心概念与实践方法,解析了其与普通数据分析的区别,并通过真实案例展示了如何通过数据挖掘发现隐藏的业务规律。文章还详细介绍了数据挖掘的六个步骤及三大关键点,强调了业务理解与数据质量的重要性,帮助企业在实际应用中少走弯路,真正实现数据驱动决策。
终于有人把数据挖掘讲明白了
|
11月前
|
编解码 人工智能 语音技术
📢 我们发布了新一代端到端语音交互模型 Fun-Audio-Chat!
通义百聆开源Fun-Audio-Chat(8B),支持端到端语音交互,具备情感感知与任务执行能力。在多榜单同尺寸模型中排名第一,支持高精度语音理解、情感识别与Function Call,高效低延迟,已全面开放代码与权重,欢迎体验!
3322 10
|
机器学习/深度学习 人工智能 自然语言处理
ICLR 2025 | EDiT:一种基于 Local SGD 策略的大模型高效分布式训练方法
蚂蚁 AI Infra 团队在深度学习最核心之一的训练框架方向上持续投入与创新,实现了提升资源利用率、加速训练、提升训练稳定性等目标。我们提出的 EDiT 方法,即为其中一项工作。
|
计算机视觉
增量学习中Task incremental、Domain incremental、Class incremental 三种学习模式的概念及代表性数据集?
本文介绍了增量学习中的三种主要模式:任务增量学习(Task-incremental)、域增量学习(Domain-incremental)和类别增量学习(Class-incremental),它们分别关注任务序列、数据分布变化和类别更新对学习器性能的影响,并列举了每种模式下的代表性数据集。
4133 4
增量学习中Task incremental、Domain incremental、Class incremental 三种学习模式的概念及代表性数据集?
|
Ubuntu Python
全网最简约的Vscode配置Anaconda环境(百分百成功)
全网最简约的Vscode配置Anaconda环境(百分百成功)
40319 0
全网最简约的Vscode配置Anaconda环境(百分百成功)
|
机器学习/深度学习 人工智能 资源调度
【博士每天一篇文献-算法】连续学习算法之HAT: Overcoming catastrophic forgetting with hard attention to the task
本文介绍了一种名为Hard Attention to the Task (HAT)的连续学习算法,通过学习几乎二值的注意力向量来克服灾难性遗忘问题,同时不影响当前任务的学习,并通过实验验证了其在减少遗忘方面的有效性。
763 12