周五下午,你给 Agent 加了一个新 Skill。试跑五次,效果都不错,你放心地点了发布。
周一早上,群里炸了:有的答案对了,翻轨迹才发现它根本没查数据;有的说“报告已生成”,文件压根不存在;还有几个以前好好的场景,莫名其妙变差了。
做过 Agent 落地的人,对这一幕大概不陌生。再想想这些时刻:
- 改了一句提示词:Agent 到底是变好了,还是只在你试的那几个例子上变好了?
- 迁移了框架:比如把 Agent 从 OpenClaw 迁到 Qoder Cloud Agents,测下来“差不多”——差多少?差在哪?
- 换了个模型:敢不敢直接切到线上?
很多 Agent 的发布决定,靠的就是几次试跑之后的一句“感觉还行”。
“感觉还行”,是 Agent 工程里高风险的四个字——因为你不知道它什么时候会失灵。
为什么 Agent 这么难测?
传统软件是确定的:同样的输入,永远得到同样的输出,跑个单测、看几个性能数字就够了。
Agent 不一样。它交出来的不只是一个答案,而是一整套答案 + 过程 + 产物 + 行为边界:
- 答对了,但它是查过资料答对的,还是蒙对的?
- 说完成了,但文件真的生成了吗?能用吗?
- 任务做完了,但它有没有越权操作、有没有绕了十八道弯?
再加上模型输出本身带有概率性——这次对,不代表下次也对。
没有基线对照、只靠少量试跑得出的“感觉”,既证明不了 Agent 是稳定的,也证明不了你的改动带来了增益。
所以 Agent 需要的不是一次性的验收,而是一套持续运转的评测制度。
概念 |
含义 |
用例 |
一个评测题:包含输入、附件以及成功标准 |
被评对象 |
一整套 Agent 配置和资源 |
运行环境 |
Agent 执行任务的现场 |
轨迹 |
执行中的消息事件、工具调用与返回 |
回答与制品 |
最终回复、生成的文件,以及环境中的变化 |
评估器 |
对某一维度做出判断的逻辑 |
基线 |
修改前的结果,用于回归对比 |
如果把 Agent 看作一名要上岗的考生,一套靠谱的评测体系里,每个角色都能找到对应:
- 考题 = 用例:输入、附件,以及成功标准
- 考生 = 被评对象:一整套 Agent 配置和资源
- 考场 = 运行环境:Agent 执行任务的现场
- 解题过程 = 轨迹:消息事件、工具调用与返回
- 答卷 = 回答与制品:最终回复、生成的文件,以及环境中的变化
- 阅卷老师 = 评估器:对某一维度做出判断的逻辑
- 上次成绩 = 基线:修改前的结果,用于回归对比
评测的终点不是一次性打分,而是一个持续转动的 Loop:发现问题 → 优化 → 回归验证 → 再发现问题。
Qoder Cloud Agents 给持续的评测Loop提供了可实施的条件:
- 评测环境就是真实现场:评测直接调用正在运行的 Agent,结果与真实运行一致。
- 全程录像,随时调阅:事件与资源全程记录,真实业务 Case 可以直接取用,评测集持续贴近业务。
- 高并发测试,互不干扰:干净的现场由运行时直接提供,运行之间互不干扰,支持高并发跑评测任务。
- 评测不影响线上任务:具备 Agent 版本管理能力,修改和回归都在副本上完成,线上不受影响。
- 标准化与自定义评测集:在支持标准 Benchmark 之外,也支持用户根据 BadCase 自定义评测集。
出题|好的评测集,来自业务本身
先对齐规格,再进入编码
评测数据通常有两类来源:业务评测集和开源 Benchmark。两者组织方式不同,适用的目的也不同。
业务评测集来自业务本身。
- 起步期:可以从典型任务和已知问题出发构造用例,也可以引入外部数据,再按业务场景转换;后期则可以通过线上会话持续回流为新的用例。
开源 Benchmark 一般是包含评测集的完整链路,不只是一份数据。每个 Benchmark 都有自己的任务和评分脚本,部分会有特定的工具、Skill 或运行环境。如果要比较通用 Agent Harness 的能力,或与公开榜单对照, 开源Benchmark评测是合适的路径。
- 成熟期:线上会话持续回流,变成新的测评集。
对于用户托管在云端的业务 Agent,从业务本身出发形成的评测集更为关键。它的用例来自真实任务和问题,能代表 Agent 在业务中的表现;比较是同一个 Agent 的不同版本、不同业务阶段,来评估agent是否真的优化。这份评测集会随着业务持续积累,逐渐沉淀为业务方自己的数据资产。
业务评测集比的是同一个 Agent 的不同版本、不同业务阶段,回答的是那个最朴素的问题:这次改动,到底有没有让它变好?
更重要的是,这份题库会随着业务不断积累——它最终会沉淀为业务方自己的数据资产。模型可以换,框架可以换,这套长在自家业务里的题库,别人抄不走。
实验|理想的实验环境,才有可信的结果
在 Agent 评测里,这三种情况并不少见:
- 夹带小抄:其他任务的数据、文件或进程,可能误导 Agent,或者给它额外提示;
- 测试环境变了说不清:环境发生变化,分不清是 Agent 做的,还是别的因素导致的;
- 上一场的残留:上一次运行留下的文件和状态,影响下一次运行。
一个统一、隔离的考场,是可信成绩的前提。
每个用例,一间独立测试环境。 QCA 采用“手脑分离”的架构,将 Agent 的推理决策与沙箱中的工具执行分开,并为每个会话创建独立沙箱。评测时,每个用例使用独立会话,天然隔离。
特殊测评环境,自己来布置。 当评测需要特定的依赖、数据或工具时,评测本身也需要单独准备环境,与 QCA 的默认环境分离则无法有效验证。基于 QCA 的自托管沙箱模式,可以把准备好的评测环境作为执行环境,让执行、依赖与评测在同一现场完成。
评估|不只看回答,也看过程与产物
只看最终答案,阅卷老师很容易看走眼:
- 蒙对的:Agent 没拿到充分依据,答案却碰巧正确;
- 谎报的:Agent 声称“已完成”,产物却不存在或不可用;
- 偷看的:答案本身来自泄漏的信息,而不是 Agent 的真实能力。
所以 QCA 的评测坚持三看:
- 看答案:结论是否正确、完整?
- 看过程:必要步骤有没有执行?有没有越过操作边界?有没有低效绕路?有没有在没依据的情况下硬答?
- 看产物:文件能不能用?数据是不是按要求改了?
不同类型的题,交给不同的评估器。原则只有一条——从确定性出发:
- 客观题交给代码:能用规则判断的,绝不麻烦模型;
- 主观题交给模型:需要理解内容、判断质量的,交给大模型评估;
- 实操题交给 Agent:需要打开文件、检查环境的,交给另一个 Agent 去“验货”。
一道题通常会组合多类检查,各个评估器独立打分。而阅卷本身,也要守纪律:
- 结果封存:执行结束、现场封存之后,再放入完成标准和检查逻辑,防止泄漏;
- 多次评估:同一用例可以多次运行、反复评估,用 pass@k 和 pass^k 衡量表现,不只看一次结果;
- 历史可溯:云端托管自动留存会话事件、执行轨迹与制品,每次评分的判断依据随之保存,通过、失败与无法评估都能回溯到具体证据。
复盘|在副本上优化,在基线上验证
一次评测的结果,就是下一次优化的起点。
但有个事实常被忽略:你对 Agent 做的大多数优化,都发生在语义层面——改提示词、加 Skill、调工具描述。而模型的输出本身带有概率性:你改了,它不一定照做;照做了,也不一定稳定。
所以每一次优化,都必须在基线上做回归验证。它的本质,是尽量降低“改动”带来的不确定性。
QCA 的托管架构让这件事变得很轻:快速克隆一个完全相同的 Agent 副本,在副本上迭代出不同的测试版本,线上业务 Agent 照常运行,不受影响。
验收标准也要讲清楚:
- 只在之前做错的题上重测通过——只能说明对局部 BadCase 有效;
- 在相同的数据、依赖、环境下整卷重测,目标指标显著提升、其他指标没有明显退化——这才是被验证过的优化。
只改错题不算进步,整体不退步才算。
沉淀|上线之后,让真实问题回到评测集
离线评测集覆盖的,是过往已知的问题和场景。
而对线上真实发生的问题,可以进行主动式的持续评估:把有价值的场景和问题转化为用例、沉淀到评测集中,为后续的迭代和优化提供业务数据资产。
需要注意的是,线上评估和离线评测不是一回事:
- 离线评测:有预先给定的检查标准,可以打分;
- 线上评估:是开放式的。会话来自真实业务,没有预先给定的答案,只能初步判断“有没有异常”。
因此,线上评估要依据业务来定义观测指标,比如轨迹效率、工具调用准确性、时间准确性等。这些指标是发现问题的信号,不作为衡量效果的分数。
总结|在可信、灵活与成本之间持续评测
Agent 评测总是希望同时做到三件事:结论可信可比、灵活适配业务、成本可控。但现实中,三者很难同时做到极致。不同业务可以按需取舍、有所侧重——而这,正是一个好的评测框架应该提供的弹性。
同时,评测也不是要一次给出百分之百准确分数的严格考官,而更像一位持续陪伴的参谋:每一轮都主动发现一些问题。即使没有覆盖所有问题,只要发现的问题被优化、被验证,就已经发挥了核心价值。
所以,评测不必等到数据、链路都完美才开始。
挑几个业务里已经暴露的典型 BadCase,先建一个小题库跑起来;之后随着 Agent 迭代,逐步补充用例、完善评估、扩大覆盖。评测和 Agent,随业务一起长大。
能被持续考核的 Agent,才能持续进化;能持续进化的 Agent,企业才敢长期托付。
现在就给你的 Agent 安排第一场考试:https://qoder.com/cloud/quickstart(更多评测能力持续发布中)