谷歌DeepMind团队近期推出了一项名为SELF-DISCOVER的创新框架，旨在通过自我发现的方式，显著提升大型语言模型（LLMs）如GPT-4和PaLM 2在复杂推理任务上的表现。这一突破性的进展，不仅在技术上实现了质的飞跃，也为人工智能领域带来了新的启示。
在人工智能的发展史上，大型语言模型一直以其出色的文本生成和指令执行能力而著称。然而，面对复杂的推理问题，传统的提示方法往往显得力不从心。SELF-DISCOVER框架的核心在于，它能够使语言模型自主地发现并构建出适合特定任务的推理结构，从而在解码过程中更加高效地解决问题。
该框架的设计理念是模仿人类解决问题的方式，通过内部设计一个推理程序来应对挑战。具体来说，SELF-DISCOVER分为两个阶段：第一阶段，模型从一组原子推理模块中选择并适应任务所需的模块，构建出一个明确的推理结构；第二阶段，模型在最终解码时遵循这个自发现的结构，逐步推导出答案。
在实际测试中，SELF-DISCOVER在多个具有挑战性的推理基准测试中表现出色，如BigBench-Hard、代理推理和数学问题等。与直接回答和链式思考（Chain of Thought）等传统方法相比，SELF-DISCOVER在21/25的任务中取得了高达42%的性能提升。此外，与需要大量推理计算的方法相比，如自洽链式思考（CoT-Self-Consistency），SELF-DISCOVER在性能上更胜一筹，同时所需的计算量却减少了10到40倍。
值得注意的是，SELF-DISCOVER的推理结构具有普适性，能够跨模型家族应用，如从PaLM 2-L迁移到GPT-4，再从GPT-4迁移到Llama2等，且与人类推理模式存在共通之处。这一点在人工智能的发展中尤为重要，因为它意味着模型能够更好地理解和适应人类的思维方式，从而在未来的人机协作中发挥更大的作用。
尽管SELF-DISCOVER取得了显著的成果，但在实际应用中也存在一些局限性。例如，该框架在处理需要世界知识的任务时表现最佳，而在算法类任务上的性能提升则相对有限。这表明，尽管模型能够自我发现和构建推理结构，但在某些特定类型的推理任务上，可能仍需要进一步的优化和调整。
此外，尽管SELF-DISCOVER在减少计算量方面取得了显著进步，但在处理大规模数据集时，模型的输入和输出长度可能会增加，这可能会对计算成本产生影响。因此，如何在保持高效性能的同时，进一步优化计算效率，将是未来研究的一个重要方向。
