最近，一篇名为《语言模型是否会规划未来 token？》的论文在人工智能领域引起了广泛关注。这篇论文由威尔逊•吴撰写，旨在探讨语言模型在推理过程中是否会预测未来的 token。
在自然语言处理领域，语言模型是一种用于生成和理解人类语言的模型。它们通常使用神经网络来学习语言的统计规律，并用于各种任务，如机器翻译、文本摘要和对话系统。
在语言模型中，token 是指文本中的最小单位，可以是单词、子单词或字符。在推理过程中，语言模型会根据已经观察到的 token 来预测下一个 token。
这篇论文提出了两个关于语言模型预测未来 token 的解释。第一个解释是预缓存（pre-caching），即语言模型在推理过程中会计算当前时间步 $t$ 的相关特征，这些特征不仅对当前的推理任务有用，也对未来的推理有用。第二个解释是面包屑（breadcrumbs），即语言模型在推理过程中会计算出对当前时间步 $t$ 最有用的特征，而这些特征也恰好是对未来时间步 $t+\tau$ 最有用的特征。
为了验证这些假设，作者设计了两个实验。第一个实验是在合成数据集上进行的，他们训练了语言模型，使其无法传播梯度到过去的 timestep，并观察模型在推理过程中的行为。第二个实验是在自回归语言建模任务上进行的，他们使用了相同的训练策略，并观察模型在生成文本时的行为。
在第一个实验中，作者发现在合成数据集上训练的语言模型表现出了预缓存的行为。这表明语言模型在推理过程中会计算出对未来有用的特征。
在第二个实验中，作者发现在自回归语言建模任务上训练的语言模型表现出了面包屑的行为。这表明语言模型在生成文本时会计算出对当前时间步最有用的特征，而这些特征也恰好是对未来时间步最有用的特征。
这篇论文表明语言模型在推理过程中会预测未来的 token。这种预测行为可以通过预缓存和面包屑两种机制来解释。预缓存机制表明语言模型会计算出对未来有用的特征，而面包屑机制表明语言模型会计算出对当前和未来都有用的特征。这些发现对理解语言模型的工作原理以及如何改进其性能具有重要意义。
