Meta等最新研究：多token预测，提升大模型推理效率

在人工智能领域，大型语言模型（LLMs）的发展日新月异，它们通过学习海量文本数据，不断优化自身的语言理解和生成能力。近期，Meta等机构的研究人员在这一领域取得了重要进展，他们提出了一种新的训练方法——多token预测，旨在提高模型的样本效率和推理速度。这项研究成果在预印本服务器arXiv上发表，迅速引起了学术界和工业界的广泛关注。

传统的大型语言模型，如GPT和Llama，通常采用下一个token预测损失（next-token prediction loss）作为训练目标。这种方法虽然在语言生成任务上取得了显著成就，但存在一定的局限性。具体来说，它倾向于捕捉局部模式，而忽略了更宏观的决策过程。这导致模型需要比人类儿童更多的数据才能达到相同的语言流利度水平。

为了解决这一问题，研究人员提出了多token预测的训练方法。与一次只预测一个token不同，新方法要求模型在训练语料库的每个位置同时预测接下来的n个token。实验表明，这种方法不仅提高了模型的样本效率，而且在训练时间上没有额外开销，对于代码和自然语言模型都有益。

研究人员通过一系列大规模实验验证了多token预测的有效性。他们训练了不同规模的模型，从300M到13B参数不等，并在多个基准测试上进行了评估。结果表明，随着模型规模的增大，多token预测的优势愈发明显。特别是在编程任务上，13B参数的模型在HumanEval和MBPP基准测试中解决问题的能力分别提高了12%和17%。

此外，多token预测还有助于提升模型的推理速度。实验显示，使用4-token预测训练的模型在推理时速度可提高至3倍，即使在大批量处理时也表现优异。

研究人员进一步探讨了多token预测为何能带来性能上的提升。他们认为，这种方法减少了训练时教师强制（teacher forcing）和推理时自回归生成（autoregressive generation）之间的分布差异。换句话说，多token预测使模型在训练时就能考虑到更长远的依赖关系，从而在实际应用中生成更连贯、更准确的文本。

从信息论的角度来看，多token预测通过增加模型对后续token的预测准确性，强调了文本生成中的关键选择点。这对于那些对整体文本结构有重要影响的决策尤为重要。

尽管多token预测在提高大型语言模型的效率和速度方面显示出巨大潜力，但也存在一些局限性。首先，这种方法可能需要更多的计算资源，尤其是在模型规模较大时。其次，多token预测可能在某些特定的NLP任务上并不总是优于传统的单token预测，例如在某些标准选择题任务和基于负对数似然的基准测试中，多token预测模型并未显示出明显优势。

此外，多token预测在自然语言处理任务中的应用还需要进一步研究。研究人员指出，对于多选题和基于可能性的基准测试，目前的评估方法可能不足以有效衡量语言模型的生成能力。

论文地址：https://arxiv.org/abs/2404.19737