近年来，人工智能（AI）领域取得了显著进展，尤其是大型语言模型（LLMs）的发展。然而，随着这些模型在互联网上的应用越来越广泛，一个新的问题逐渐浮出水面——模型崩溃。最近，牛津大学和剑桥大学的研究人员在《自然》杂志上发表了一项重要研究，揭示了当AI模型在递归生成的数据上进行训练时，会出现严重的性能退化现象。
AI模型的训练通常需要大量的数据，而现有的大型语言模型大多是在人类生成的文本上进行训练的。但随着时间的推移，未来的模型可能会越来越多地依赖于从互联网上抓取的数据。这意味着，它们可能会在不知不觉中训练在前一代模型生成的数据上。这种自我训练的过程，虽然听起来像是AI自我进化的捷径，但实际上却隐藏着巨大的风险。
研究人员通过实验发现，当AI模型在前一代模型生成的数据上进行训练时，会出现所谓的“模型崩溃”现象。这是一种退化过程，模型逐渐忘记了真实的数据分布，甚至在数据分布本身没有变化的情况下也是如此。这种现象不仅影响模型的性能，还可能导致模型对现实世界的误解。
模型崩溃的发生主要归因于三种类型的误差：统计近似误差、功能表达性误差和功能近似误差。统计近似误差是由于样本数量有限导致的，随着样本数量的增加，这种误差会逐渐消失。功能表达性误差则源于模型表达能力的局限性，例如神经网络只有在其规模无限大时才能成为通用近似器。功能近似误差主要来自于学习过程的局限性，如梯度下降的结构偏差或目标函数的选择。
这些误差在模型的代际传递中不断累积，导致模型逐渐偏离原始模型。特别是在早期模型崩溃中，模型开始丢失关于数据分布尾部的信息；而在晚期模型崩溃中，模型会收敛到一个与原始分布几乎没有相似性的分布，通常具有显著降低的方差。
为了验证模型崩溃的现象，研究人员进行了一系列的实验。他们使用了OPT-125m因果语言模型，并在wikitext2数据集上进行了微调。实验结果显示，随着代际的增加，模型生成的数据逐渐积累了低困惑度的样本，这使得模型在后续的训练中更容易产生这些样本。同时，模型也开始生成一些原始模型永远不会生成的样本，这些样本正是由于学习过程中累积的误差所导致的。
研究人员还发现，即使是在微调设置中，模型崩溃的现象依然存在。他们通过限制训练，使得模型在每次训练后都尽可能接近原始预训练模型，但即便如此，模型的性能仍然会有所下降。这表明，即使是在有限的训练周期内，模型崩溃的影响也是显著的。
模型崩溃不仅影响单个模型的性能，还可能对整个AI领域产生深远的影响。首先，模型崩溃意味着模型可能无法准确模拟现实世界的复杂性，尤其是那些低概率事件。这对于需要预测罕见事件的领域，如金融风险评估或医疗诊断，可能是灾难性的。其次，模型崩溃还可能导致模型在长期学习中逐渐失去对原始数据源的访问，这对于模型的持续改进和更新至关重要。
此外，模型崩溃还引发了关于数据来源和数据真实性的讨论。随着AI模型在互联网上生成的内容越来越多，如何区分这些内容与人类生成的内容变得尤为重要。这不仅涉及到技术问题，还涉及到伦理和社会问题，如如何确保AI模型生成的内容不会误导公众，或如何保护那些可能被模型误解的边缘群体。
