在人工智能领域，评估大型语言模型（LLMs）的性能一直是一个挑战。传统的评估方法往往依赖于静态的数据集，这些数据集可能无法跟上模型能力的快速发展，同时也存在数据污染的问题。为了解决这些问题，研究者们在ICLR 2024的Spotlight环节中提出了一种全新的评估协议——DYVAL。
DYVAL的核心在于其动态生成评估样本的能力，这意味着它能够根据模型的能力动态调整测试的难度，从而更准确地评估模型的性能。这种动态评估的方法使得评估过程能够与模型能力的提高同步进化，为LLMs的持续进步提供了更为精确的衡量标准。
DYVAL的架构由三个主要部分组成：生成算法G、约束C和描述函数F。生成算法G负责创造多样化的测试样本，以确保评估的全面性；约束C则用于调节这些样本的复杂性和有效性，确保测试的难度与模型的能力相匹配；描述函数F则将这些样本转换成自然语言描述，使得评估结果更易于理解和分析。
为了实现这一动态评估，DYVAL采用了有向无环图（DAG）的结构。DAG是一种特殊的图结构，它能够表示复杂的依赖关系和逻辑流程，非常适合用来构建数学、逻辑推理和算法问题等推理任务的评估集。通过DAG，DYVAL能够动态地生成具有可控复杂度的评估样本，从而更好地模拟真实世界中的复杂问题。
在实际应用中，研究者们使用DYVAL对多种LLMs进行了评估，包括Flan-T5-large、ChatGPT和GPT-4等。他们还测试了多种最新的提示技术，如Few-shot、CoT、Least to Most prompting等，以探索这些技术在动态评估中的表现。此外，研究者们还进行了涉及82名人类评估者的人类研究，以及使用DYVAL生成的评估样本进行的微调实验，以验证DYVAL的有效性。
实验结果表明，LLMs在DYVAL生成的评估样本上的表现并不一致，这强调了动态评估的重要性。DYVAL的实验结果揭示了LLMs在不同复杂性评估样本上的表现差异，这表明现有LLMs在处理复杂问题时存在局限性，尤其是在组合性和数据污染方面。此外，基于DYVAL评估的错误分析揭示了各种失败模式，为进一步改进LLMs提供了宝贵的线索。
DYVAL的另一个重要发现是，没有一种提示工程方法能够在所有评估集上表现最佳，这表明提示技术需要针对特定任务进行优化。同时，研究者们还发现，更大的模型尺寸往往能取得更好的性能，这为未来LLMs的设计提供了指导。
更令人兴奋的是，DYVAL不仅可以作为评估工具，还可以用于生成训练数据，以提高LLMs在现有基准上的性能。例如，通过使用DYVAL生成的数据对Llama2模型进行微调，研究者们在6个现有基准上取得了显著的性能提升。这表明DYVAL在LLMs的评估和进化中具有巨大的潜力。
DYVAL作为一种新型的评估协议，为LLMs的评估研究提供了新的视角。它通过动态生成评估样本，不仅能够适应模型能力的快速进步，还能够为模型的微调和性能提升提供有价值的数据。
