在现代人工智能领域，语言模型的发展已经达到了令人瞩目的成就，其中下一个词预测（Next-Token Prediction）技术更是成为了这些模型的核心技术之一。然而，一篇名为《下一个词预测的陷阱》的论文提出了对这一技术的深刻反思，指出了其在模拟人类思维方面的局限性。
论文的作者首先指出，尽管下一个词预测技术在处理语言任务时表现出色，但批评者认为这种模型更像是一位即兴表演的艺术家，而非真正具备人类思维能力的智能体。这种观点基于对人类解决问题过程的观察，人类在面对问题时会进行深思熟虑、规划和反复推敲，而不仅仅是简单地预测下一个最可能发生的事件。
在探讨这一问题时，论文详细分析了自回归推理和教师强制训练两种不同的下一个词预测模式，并指出这两种模式可能导致截然不同的失败。自回归推理的失败在于模型在推理过程中一旦犯错，就无法有效地从错误中恢复。而教师强制训练的失败则更为根本，它可能在一开始的学习阶段就无法学习到有效的预测策略。
为了证明这一观点，作者设计了一个简单的路径查找任务，用以测试流行的Transformer和Mamba架构。结果发现，即使是在这样简单的任务中，这两种架构也出现了失败，这一发现对于我们理解语言模型的能力具有重要意义。
论文还提出了一种无需教师的训练形式，即同时预测多个未来的词，这种训练方式在某些情况下能够避免教师强制训练的失败。这一发现为未来的研究提供了新的方向，鼓励人们探索超越传统下一个词预测范式的新方法。
在实验部分，论文通过一系列实验验证了作者提出的假设，并展示了教师强制模型在拟合训练数据时可能表现出色，但在实际应用中却可能失败。通过设计替代目标来干预这些失败模式，实验结果表明，去除教师强制训练中的作弊行为和解决不可解读的词问题，可以显著提高模型的性能。
文章最后讨论了教师强制训练失败的显著性，并强调了成功逆转训练和偶尔成功的教师无训练对于理解教师强制训练的分布内失败具有重要意义。作者在结论中指出，尽管下一个词预测是现代语言模型的核心，但本文的分析提供了对这种乐观态度的质疑，并希望这些分析能够为未来关于下一个词预测的辩论提供坚实的基础。
