ACL 2024论文盖棺定论：大语言模型≠世界模拟器

最近，一篇发表在ACL（Association for Computational Linguistics）2024会议上的论文引起了广泛关注。该论文由来自University of Arizona、Microsoft Research Montréal、New York University、Johns Hopkins University和Allen Institute for AI的研究人员共同完成，标题为《Can Language Models Serve as Text-Based World Simulators?》。

这篇论文主要研究了当前的大型语言模型（LLMs）是否可以作为基于文本的世界模拟器，以预测不同世界状态下行动的变化。为了回答这个问题，研究人员构建了一个名为BYTE-SIZED32-State-Prediction的新基准，该基准包含一个文本游戏状态转换的数据集和相应的游戏任务。

研究人员使用这个基准来直接量化LLMs作为基于文本的世界模拟器的能力。他们对GPT-4进行了测试，发现尽管GPT-4在许多任务上表现出色，但在没有进一步创新的情况下，它仍然是一个不可靠的世界模拟器。

这篇论文的贡献在于，它不仅为我们提供了对当前LLMs能力与局限性的新见解，还引入了一个新颖的基准来跟踪未来模型的出现。

首先，让我们来看看为什么世界模拟器对于人工智能研究如此重要。世界模拟器可以帮助我们研究和理解现实世界中的复杂问题，例如城市规划、交通管理或资源分配。通过模拟不同的场景和决策，我们可以评估不同策略的效果，并找到最佳解决方案。

然而，构建一个世界模拟器并不容易。它需要大量的专业知识和时间来设计和实现。此外，模拟器还需要能够准确地模拟现实世界中的各种因素，例如物理定律、人类行为和社会动态。

因此，研究人员开始探索是否可以使用当前的LLMs作为世界模拟器。LLMs具有强大的自然语言处理能力，可以理解和生成复杂的文本。这使它们成为模拟基于文本的环境（如虚拟世界或游戏）的潜在候选者。

为了评估LLMs作为世界模拟器的能力，研究人员设计了BYTE-SIZED32-State-Prediction基准。该基准包含一个数据集，其中包含文本游戏中的状态转换，以及相应的游戏任务。

研究人员使用这个基准来测试GPT-4，这是目前最强大的LLM之一。他们发现，尽管GPT-4在许多任务上表现出色，但在模拟世界状态转换方面仍然存在一些问题。

具体来说，研究人员发现GPT-4在模拟与代理行动直接相关的状态转换方面表现较好，但在模拟需要算术、常识或科学推理的状态转换方面表现较差。此外，他们还发现GPT-4在模拟环境驱动的状态转换（即由游戏的底层动态引起的状态转换）方面也存在问题。

研究人员还比较了GPT-4与人类在模拟世界状态转换方面的能力。他们发现，尽管GPT-4在某些任务上表现得像人类一样好，但在其他任务上仍然存在显著差距。

这篇论文的结果表明，尽管LLMs在许多任务上表现出色，但它们目前还不能作为可靠的世界模拟器。要实现这一目标，需要进一步的创新和改进。

然而，这篇论文也为未来的研究提供了一些有希望的方向。例如，研究人员可以探索如何改进LLMs的推理能力，使其能够更好地模拟需要算术、常识或科学推理的状态转换。他们还可以研究如何设计更好的基准和评估指标，以更准确地衡量LLMs作为世界模拟器的能力。

论文地址：https://arxiv.org/pdf/2406.06485