在人工智能领域，大型语言模型（LLM）的崛起引发了广泛关注。这些模型在自然语言处理、文本生成等方面展现出了卓越的能力，但当它们需要与各种工具进行交互以解决实际问题时，其表现往往不尽如人意。为了填补这一研究空白，NeurIPS 2024会议上，一项名为GTA（General Tool Agents Benchmark）的全新基准测试被提出，旨在评估LLM在真实世界复杂任务中的工具调用能力。
GTA基准测试的第一个亮点在于其采用了真实用户查询。与以往使用AI生成的查询不同，这些查询由人类编写，具有简单而明确的现实世界目标，但工具使用方式却相对隐晦。这意味着LLM需要具备强大的推理能力，能够根据查询内容推断出合适的工具，并规划出解决问题的步骤。这种设计方式更贴近真实世界的应用场景，能够有效评估LLM在实际问题解决中的潜力。
除了真实用户查询外，GTA基准测试还引入了真实部署工具的概念。这些工具涵盖了感知、操作、逻辑和创造力等多个类别，能够全面评估LLM在实际任务执行中的表现。通过与这些工具的交互，LLM需要完成一系列复杂的任务，如图像识别、数据处理、逻辑推理等。这种评估方式能够更准确地反映LLM在真实世界中的工具使用能力，为研究者提供有价值的反馈。
为了进一步提升评估的真实性与准确性，GTA基准测试还采用了真实多模态输入。这些输入包括真实的图像文件，如空间场景、网页截图、表格、代码片段以及印刷或手写材料等。通过将这些多模态输入作为查询上下文，GTA基准测试能够更紧密地模拟真实世界场景，使评估结果更具参考价值。
在GTA基准测试中，研究团队设计了229个真实世界任务和可执行的工具链，对主流LLM进行了评估。结果显示，真实世界用户查询对现有LLM构成了巨大挑战。例如，GPT-4仅完成了不到50%的任务，而大多数LLM的完成率甚至低于25%。这一评估结果揭示了当前LLM在真实世界场景中的工具使用能力存在明显瓶颈，为未来研究提供了重要的参考方向。
GTA基准测试的提出具有积极意义。首先，它为研究者提供了一个全面、真实的评估平台，能够更准确地衡量LLM在真实世界中的工具使用能力。其次，通过揭示LLM在真实世界中的瓶颈，GTA基准测试为未来研究提供了明确的方向，有助于推动LLM工具使用能力的进一步发展。最后，GTA基准测试的开放性也为研究者提供了便利，使得他们能够轻松获取代码和数据集，开展相关研究。
然而，GTA基准测试也存在一些潜在挑战。首先，数据集的规模和多样性可能存在局限性，无法完全涵盖真实世界中的所有场景和任务。其次，工具的选择和设计也可能存在偏见，无法全面评估LLM在不同领域和应用中的表现。此外，GTA基准测试主要关注LLM的工具使用能力，而忽略了其他方面的能力，如知识获取、学习能力等。这些挑战需要在未来的研究中得到解决，以进一步提升GTA基准测试的全面性和准确性。
展望未来，GTA基准测试有望在多个方面取得突破。首先，随着多模态数据的不断丰富和工具的不断创新，GTA基准测试有望进一步提升评估的真实性和准确性。其次，通过跨领域合作和知识共享，GTA基准测试有望推动LLM在多个领域中的工具使用能力的发展。最后，随着LLM技术的不断进步和应用场景的不断拓展，GTA基准测试有望为人工智能领域的发展做出更大贡献。
