随着机器学习模型从小型到大型预训练架构的演变，以及从支持单模态到多模态数据的发展，多模态连续学习（MMCL）方法近年来应运而生。MMCL旨在使机器学习模型能够从新数据中不断学习，同时在不遗忘之前所学知识的基础上进行知识的积累。然而，MMCL的主要挑战在于它不仅仅是简单地堆叠单模态连续学习方法，因为这种直接的方法往往会产生不令人满意的性能。
在这篇论文中，来自香港中文大学、清华大学和伊利诺伊大学芝加哥分校的研究人员联合发布了首个关于MMCL的全面综述。该综述为读者提供了关于MMCL的基本背景知识和设置，并提出了一个结构化的MMCL方法分类体系。研究人员将现有的MMCL方法分为四类，即基于正则化的方法、基于架构的方法、基于重放的方法和基于提示的方法，并解释了它们的原理，同时强调了它们的关键创新之处。
基于正则化的方法旨在通过在学习新任务时对模型参数进行正则化来减轻遗忘。这些方法通常利用知识蒸馏或参数正则化等技术来保留先前任务的知识。然而，这些方法在处理多模态数据时可能面临挑战，因为不同模态之间的知识表示和学习动态可能存在差异。
基于架构的方法通过动态调整模型架构来适应新任务。这些方法通常涉及添加新的神经网络层或模块，以处理新任务中引入的额外信息。然而，这些方法可能需要大量的计算资源和存储空间，并且可能难以在实际应用中实现。
基于重放的方法通过在学习新任务时重放先前任务的数据来减轻遗忘。这些方法通常涉及将先前任务的数据存储在内存中，并在学习新任务时定期进行重放。然而，这些方法可能面临数据隐私和存储限制等问题，并且可能无法处理大规模数据集。
基于提示的方法通过在模型的输入或输出中添加提示来指导模型的学习过程。这些方法通常涉及在模型的输入中添加额外的信息，以帮助模型识别和学习新任务中的关键特征。然而，这些方法可能需要大量的领域知识和专家经验，并且可能难以在实际应用中进行调整和优化。
除了对现有方法进行分类和解释，该综述还总结了开放的MMCL数据集和基准，并讨论了几个有前途的未来研究方向。这些方向包括开发更高效的MMCL方法、探索多模态数据之间的相关性、以及将MMCL应用于实际问题和应用中。
该综述的发布为MMCL领域的研究和开发提供了一个全面的参考和指导。它不仅为读者提供了关于MMCL的基本概念和方法的理解，还为未来的研究提供了新的方向和挑战。然而，需要注意的是，MMCL仍然是一个新兴的研究领域，许多问题和挑战仍然存在。例如，如何在不增加计算和存储开销的情况下实现高效的多模态学习，如何处理多模态数据之间的不一致性和噪声，以及如何将MMCL应用于实际问题和应用中。这些问题需要进一步的研究和探索，以推动MMCL领域的发展和进步。
