近年来，随着大语言模型（LLMs）的快速发展，其性能评估成为了研究的热点。然而，现有的评估方法却面临着一个严重的问题：数据污染。这种污染会导致模型性能的评估结果被夸大，从而无法准确反映其在实际应用中的效果。为了解决这个问题，北京大学的研究团队提出了一种名为KIEval（Knowledge-grounded Interactive Evaluation）的新型评估框架。
KIEval的独特之处在于，它首次引入了由LLMs驱动的"互动者"角色，以实现动态的、抗污染的评估。与传统的LLMs评估方法不同，KIEval通过动态生成的、多轮的、基于知识的对话来评估模型是否能够深入理解并应用知识，而不仅仅是简单地回忆标准答案。
具体来说，KIEval的评估过程如下：首先，它会向模型提出一个涉及特定领域知识的问题，然后通过与模型进行多轮对话来评估其回答的准确性和深度。在对话过程中，KIEval会不断生成新的问题和提示，以测试模型是否能够根据上下文和知识进行灵活的回答。
这种交互式的评估方法有几个明显的优势。首先，它能够更准确地评估模型的理解能力和应用能力，而不仅仅是其记忆能力。通过多轮对话，KIEval可以测试模型是否能够根据不同的提示和问题进行灵活的回答，从而更全面地评估其性能。
其次，KIEval的动态出题机制可以有效减少数据污染的影响。由于KIEval会根据模型的回答生成新的问题和提示，因此模型无法简单地通过记忆标准答案来获得高分。这可以迫使模型更加深入地理解知识，并提高其在实际应用中的效果。
然而，KIEval也存在一些潜在的问题。首先，由于其高度交互性和动态性，KIEval的评估过程可能需要更多的计算资源和时间。这可能会限制其在实际应用中的可行性，尤其是对于一些资源有限的研究团队来说。
其次，KIEval的评估结果可能受到评估人员的主观影响。由于KIEval的评估过程涉及到与模型进行多轮对话，因此评估人员的提问能力和判断能力可能会对评估结果产生影响。这可能会导致评估结果的不一致性和主观性。
此外，KIEval的评估方法可能不适用于所有类型的LLMs。由于其高度依赖知识和上下文理解，KIEval可能更适合评估一些专注于特定领域的LLMs，而对于一些通用的、多领域的LLMs来说，其评估效果可能有限。
