在人工智能领域，大型语言模型（LLMs）的指令跟随能力是其与用户期望对齐的关键。然而，由于人类语言的复杂性和主观性，评估LLMs的指令跟随能力一直是一个挑战。目前的基准测试主要关注单轮、单语言的指令，这并不能充分反映现实世界应用中需要处理的多轮和多语言交互的复杂性。为了解决这一问题，Meta发布了一个名为Multi-IF的新基准，旨在评估LLMs在多轮和多语言指令跟随方面的能力。
Multi-IF基准测试利用了一种结合LLM和人类注释者的混合框架，在IFEval的基础上进行了扩展，增加了多轮序列，并将英语提示翻译成其他7种语言，从而形成了一个包含4501个多语言对话的数据集，每个对话都有三个回合。通过对14个最先进的LLMs进行评估，Multi-IF基准测试揭示了它比现有基准测试更具挑战性。所有测试的模型在每个回合中正确执行指令的失败率都更高。例如，o1-preview在第一个回合的准确率平均为0.877，但在第三个回合下降到0.707。此外，使用非拉丁字母的语言（如印地语、俄语和中文）通常表现出更高的错误率，这表明模型在多语言能力方面可能存在潜在限制。
Multi-IF基准测试的发布，为评估LLMs的指令跟随能力提供了一个更全面、更真实的框架。它不仅考虑了多轮交互的复杂性，还引入了多语言的维度，更接近现实世界的应用场景。这对于推动LLMs的发展和改进具有重要意义。
然而，Multi-IF基准测试也存在一些局限性。首先，它只涵盖了8种语言，这对于全球范围内的多语言应用来说可能还不够全面。其次，每个对话只有三个回合，这可能无法充分模拟现实世界中更长的、更复杂的交互过程。此外，Multi-IF基准测试主要关注指令的正确执行，而没有考虑其他可能影响用户体验的因素，如响应时间、可读性等。
尽管存在这些局限性，Multi-IF基准测试仍然为LLMs的指令跟随能力评估提供了一个重要的参考点。它强调了多轮和多语言交互的重要性，并揭示了当前模型在这些方面的不足之处。这为未来的研究提供了方向，即如何改进LLMs的多轮和多语言指令跟随能力，以更好地满足现实世界应用的需求。
从更广泛的角度来看，Multi-IF基准测试的发布也反映了人工智能领域对模型评估方法的不断探索和改进。随着人工智能技术的发展，我们需要更全面、更真实的评估方法来衡量模型的性能，以确保它们能够真正满足用户的需求。Multi-IF基准测试的发布，为这一努力做出了贡献，并为未来的研究提供了启示。
