重要的事情说两遍！Prompt复读机，显著提高LLM推理能力

本文介绍了一种名为“问题重读”（Question Re-reading）的提示策略，该策略旨在提高大型语言模型（LLMs）的推理能力。该策略受到人类学习和问题解决过程的启发，通过重新审视嵌入在输入提示中的问题信息，使LLMs能够提取更深层次的见解、识别复杂的模式，并建立更细致的联系。

在人工智能领域，大型语言模型（LLMs）已经成为自然语言理解和生成的基石。然而，尽管这些模型在许多任务上表现出色，但它们的推理能力仍然是一个挑战。为了解决这个问题，研究人员已经探索了各种提示策略，以指导和结构化LLMs的推理过程。

问题重读策略是一种简单而有效的提示策略，它通过重新审视嵌入在输入提示中的问题信息来提高LLMs的推理能力。该策略受到人类学习和问题解决过程的启发，其中人们经常重新阅读问题以获得更深的理解和洞察力。

在问题重读策略中，LLMs被要求在处理问题时重新阅读问题信息。这可以通过在输入提示中重复问题来实现，例如在提示中添加一个“重新阅读问题”的步骤。通过这种方式，LLMs可以更深入地理解问题，并提取更深层次的见解和模式。

为了验证问题重读策略的有效性，研究人员在一系列推理基准上进行了实验。这些基准包括算术、常识和符号推理任务。实验结果表明，问题重读策略在大多数任务上都表现出显著的改进。

在算术推理任务中，问题重读策略在多个基准上都表现出显著的改进，包括GSM8K、SVAMP、ASDiv、AQuA、MultiArith和SingelEQ。在常识和符号推理任务中，问题重读策略在CommonsenseQA、StrategyQA、ARC和Coinflip等任务上也表现出显著的改进。

问题重读策略的成功可以归因于几个因素。首先，它通过重新审视问题信息，使LLMs能够更深入地理解问题，并提取更深层次的见解和模式。其次，它通过提供更多的上下文信息，帮助LLMs更好地理解问题，并生成更准确的答案。

然而，问题重读策略也存在一些限制。首先，它可能需要更多的计算资源和时间来处理问题，因为LLMs需要重新阅读问题信息。其次，它可能不适用于所有任务和模型，因为某些任务和模型可能不需要或不受益于重新阅读问题信息。

问题重读策略是一种简单而有效的提示策略，它通过重新审视嵌入在输入提示中的问题信息来提高LLMs的推理能力。实验结果表明，该策略在多个推理任务上都表现出显著的改进。然而，它也存在一些限制，需要在实际应用中加以考虑。

在未来，研究人员可以探索将问题重读策略与其他提示策略相结合，以进一步提高LLMs的推理能力。此外，他们可以研究如何将该策略应用于其他领域和任务，以及如何优化其性能和效率。

论文地址：https://arxiv.org/pdf/2309.06275