我搭建了一套 Agent 测试平台|数据集、评分、自动执行、报告全流程

简介: 随着 AI Agent 的应用越来越广泛,Agent 测试也逐渐成为测试工程师需要关注的一个方向。 目前市面上已经有不少 Agent 评测框架,例如 Promptfoo、DeepEval、Ragas 等。这些框架提供了比较丰富的评测能力,但大多需要通过编写代码的方式完成配置和执行。 对于一些不太熟悉代码的测试人员来说,使用起来还是有一定门槛的。 另外,我也看过一些开源的 Agent 评测项目,但在功能设计和使用体验上,总觉得还有一些不太符合自己的预期。 因此,我干脆利用 AI 自己搭建了一套 Agent 评测平台。 这套平台主要围绕 Agent 测试的实际流程进行设计,从 Agent 接入、评

随着 AI Agent 的应用越来越广泛,Agent 测试也逐渐成为测试工程师需要关注的一个方向。

目前市面上已经有不少 Agent 评测框架,例如 Promptfoo、DeepEval、Ragas 等。这些框架提供了比较丰富的评测能力,但大多需要通过编写代码的方式完成配置和执行。

对于一些不太熟悉代码的测试人员来说,使用起来还是有一定门槛的。

另外,我也看过一些开源的 Agent 评测项目,但在功能设计和使用体验上,总觉得还有一些不太符合自己的预期。

因此,我干脆利用 AI 自己搭建了一套 Agent 评测平台。

这套平台主要围绕 Agent 测试的实际流程进行设计,从 Agent 接入、评测数据集管理,到评分器配置、自动化执行以及结果分析,尽量将整个评测过程整合到一个系统中。

下面就带大家看看这套平台具体有哪些能力。

一、整体功能介绍

目前主要包含以下几个模块(还在持续迭代中):

二、平台有哪些核心能力?

1. 多种 Agent 接入方式

做 Agent 测试,首先需要解决的就是如何接入待测对象。

实际工作中,Agent 的实现方式可能有很多种,有的是公司内部自主研发的服务,有的是基于 Dify 等平台搭建的应用,也有的是通过大模型接口封装出来的 Agent。

如果每种 Agent 都需要单独适配,使用起来就会比较麻烦。

因此,平台目前提供了两种接入方式。

自定义 HTTP 接入

适用于已经独立开发并部署的 Agent 服务。

只需要配置对应的请求地址、请求方式以及请求参数,就可以将其接入平台。

OpenAI 兼容协议接入

如果 Agent 提供了兼容 OpenAI 的接口,也可以通过这种方式接入。

配置 API 地址、模型名称以及密钥等信息即可。

通过这两种方式,可以覆盖比较常见的 Agent 接入场景,后续也可以根据实际需求扩展其他接入方式。

2. AI 自动生成评测数据集

这是我在平台中比较重视的一个功能。

做过 Agent 测试的小伙伴应该都知道,评测数据集的准备往往需要投入不少时间。

不仅要梳理业务场景,还需要准备测试问题、期望答案,以及其他评测所需的信息。

如果完全依赖人工整理,数据量一大,工作量就会比较明显。

因此,我专门设计了一个用于生成评测数据集的 AI Agent,希望通过 AI 辅助完成这部分工作。

在创建数据集时,目前支持两种方式:

  • 手工创建:支持页面手动添加,也支持通过 CSV 文件批量导入。
  • AI 创建:提供相关业务信息,由 AI 自动生成评测数据。

在建集过程中,可以上传以下内容:

  • Agent 提示词:让 AI 了解待测 Agent 的角色、任务和回答要求。
  • 工具信息:补充 Agent 可以调用的工具及其相关说明。
  • 知识库文件:上传业务文档、产品资料等内容,为测试问题生成提供参考。

除了提供上下文信息,还可以根据自己的评测需求选择需要生成的数据字段,并配置相关生成参数。

完成配置后,AI 就会根据提供的信息生成对应的测试问题、期望答案等内容。

生成完成后,可以人工检查和调整,再将符合要求的数据导入正式数据集。

3. 多种评分方式,支持组合评测

有了测试数据集,接下来就需要解决另一个问题:如何判断 Agent 的回答质量?

Agent 的回答不像传统接口那样,通常可以通过固定字段和预期结果直接判断。

很多时候,同一个问题可能存在多种合理表达方式,甚至还需要判断回答是否存在幻觉、是否忠实于知识库内容等。因此,单一的评测方式往往很难覆盖所有场景。

目前平台主要支持以下几类评测方式:

  • 规则评判:根据预设规则进行判断,适合关键词、格式、固定内容等明确要求的校验。
  • 大模型评判:调用对话模型,根据自定义评分标准评估回答质量,适合开放式问题和语义判断。
  • Ragas 评测:使用 Ragas 提供的评测指标,从答案相关性、忠实度等维度评估 Agent 的回答质量。

不同的评分器可以根据业务需求自由组合。

例如,一个 Agent 回答除了需要满足基本的业务规则,还需要判断答案是否切题、是否存在知识幻觉。

那么就可以同时配置规则评分器、大模型评分器和 Ragas 评分器,从多个维度进行评估。

4. 自动执行评测任务

前面介绍了 Agent 接入、数据集以及评分器,接下来就是将这些能力串联起来。

平台通过评测任务来完成整个自动化评测流程。

创建任务时,只需要选择三个核心内容:

  • 待测 Agent
  • 评测数据集
  • 需要使用的评分器

任务创建后,平台就会自动执行评测。

整体流程是:

1. 读取数据集中的测试问题。

2. 逐条调用待测 Agent。

3. 获取 Agent 的实际回答。

4. 将回答交给对应的评分器进行评估。

5. 保存评分结果。

这样就不需要测试人员手动逐条提问、记录答案,再通过人工判断结果。

对于需要反复调整 Prompt、知识库或者 Agent 工作流的场景,也可以使用同一套数据集重复执行评测,观察调整前后的表现变化。

5. 评测结果分析与导出

评测完成后,最终还是要回到结果分析。

毕竟,做 Agent 评测并不是为了得到一个分数,而是希望通过评测发现问题。

平台会展示每条测试数据对应的 Agent 实际回答以及评分情况。

另外,平台还支持将评测结果导出为 CSV 文件,方便后续进行数据统计和进一步分析。

例如,可以统计不同指标的通过率,也可以对比不同版本 Agent 的评测结果,观察 Prompt 或知识库调整后是否真正带来了效果提升。

三、最后

以上就是这套 AI Agent 评测平台目前已经实现的主要功能。目前这套平台还在持续完善中,后续也会根据实际使用情况继续增加和优化功能。

我个人认为,Agent 测试并不是简单地给 Agent 提几个问题,看看回答得对不对。

更重要的是建立一套相对完整的评测体系,包括测试数据集的设计、评测指标的选择、自动化执行以及结果分析。只有这样,才能在 Agent 不断迭代的过程中,持续发现问题,评估优化效果。

目录
相关文章
|
17天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
7057 52
|
4天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
5天前
|
云安全 人工智能 安全
|
17天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5477 65
|
12天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2756 8
|
4天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
9天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1789 1
|
2天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1198 0
|
8天前
|
人工智能 iOS开发 开发者
2026年 Codex 下载地址更新:codexdown.cn 已更换为 codexdown.cc(附 Codex 客户端下载)
2026年Codex官方下载站已由codexdown.cn正式迁移至codexdown.cc,提供Windows/macOS最新客户端、历史版本、安装教程及配置指南,开发者可一站式获取稳定、安全、签名验证的AI编程工具资源。(239字)
1632 0