以前做测试开发,被测对象是确定性代码。同样输入,同样输出,断言非真即假。用例写死,跑挂了就是 bug,跑过了就是过。
智能体把这套前提拆了。
同一个问题,换个口语说法,路由就变了。同一份数据,两个研究员有分歧,模型给你抹成一个区间。用户问 2018 年,库里没有,它拿 2019 年的答你,措辞还很顺。
这些都不崩溃,不抛异常,日志一片绿。传统断言一条都测不出来。
有人 4 天生成了 37 个业务技能,演示效果很好,真正打磨用了几周,上线后还在补。生成快,验证难。这个落差的本质是测试开发问题,不是生成能力问题。
一、先搞清楚测的是什么
测一个智能体,先得放弃"测一份文档"的直觉。
技能描述、规则、模板不是静态文件。它们是运行时组件。描述每一轮请求都进上下文,参与路由决策;正文在命中后被读进来;一部分约束根本不进上下文,由代码强制执行。
三类成分,物理规律不同,测法也不同。
常驻描述参与每一轮判别,注意力会被稀释,前缀还要缓存复用。它必须短、必须是路由条件、必须稳定。对应的测试是路由测试,跑的是分类准确率和兜底率。
按需正文只在命中后占上下文。它可以厚,但必须单一职责。对应的测试是内容测试,验的是输出结构和数据来源。
代码约束不进上下文,100% 可执行。对应的测试是常规单元测试,断言硬边界。
核心在于这条分工线:模型负责推理,外部系统负责状态和边界。能用代码断言的,不要写成提示词让模型"自觉遵守"。这是后面所有测试的判据。
二、可测性是设计出来的
一个智能体系统能不能测,取决于它是否满足五条设计约束。
可路由:口语化问题能被稳定分派。分类结果可观测,才可测。
可治理:规则结构分层,有唯一权威源。落点唯一,测试失败才能定位。
可溯源:每个数据和判断能追到来源,缺口显式披露。输出才可验证。
可评测:每一层都有可回归的评测集。改动前后的差异才可量化。
可迭代:现场坏例有明确归因路径和修复落点。缺陷才可闭环。
这五条不是发布标准,是测试前置条件。缺一条,对应的那一类问题就只能靠人盯。实际上大多数团队卡在这里:不是没写测试,是系统没留出可测的接口。
三、路由测试:意图树决定准确率天花板
先看一个真实失败。
九个按"话题"切的意图,370 条样本离线评测。"历史比较"类准确率在 10% 到 40% 之间来回晃,"风险提示"最好只到 40%。"公司基本面"变成一个黑洞,估值分位、盈利预测、投资逻辑全被它吸走,precision 只有 0.641。
加例句没用,加判别规则也没用。原因是结构问题:同一个问句可以同时属于两个话题,话题之间的语义天然重叠。分类器在候选集里做判别,候选越近,错误率越高。提示工程救不了结构。
怎么做的:按"分析范式"重切。根意图下收敛成六个互斥的二级意图,把十一种细粒度子能力的分流交给技能内部的路由表。
为什么这么做:把"几十选一"拆成"六选一加一张表",每一级都落在自己的分辨率内。意图树结构决定准确率天花板,例句和规则只能帮你逼近这个天花板。
解决了什么:新树在 400 条样本上准确率 92.50%,兜底率 1.00%,实体替换类 98.50%。残留错误集中在一个意图,precision 1.000、recall 0.889,错误单向、边界清晰。旧树是半数意图彼此纠缠,新树是一个点往外漏。后者可以补用例收敛。
测试开发在这里的抓手是混淆矩阵。黑洞列就是高召回低精度的坏用例源,错误方向决定你该补正例还是反例。
反例的价值被严重低估。带典型问句和判别经验,路由准确率提升有限,但兜底率从 4.59% 降到 1.08%,P95 延迟从 9552ms 降到 3743ms。模型拿到了判别锚点,不再犹豫到走降级。补上反例,准确率从 73% 升到 85%,响应时间还降了 18.1%。近义意图的路由错误绝大多数发生在边界上,反例是划边界最直接的方式。
还有一个反直觉的数据:同一套配置,25B 模型准确率 89.19%,235B 是 88.11%,兜底率和延迟还更差。意图分类是窄判别任务,边界由例句给出,模型规模不是瓶颈。测试驱动选型,别按参数量拍。
工程侧要测降级路径:LLM 分类失败要回退到规则匹配,结果要进缓存,高频标准问句启动时向量化、查询时超阈值直接短路。这些不是优化项,是必须覆盖的用例。
四、结构测试:分层是为了降低测试复杂度
37 个平铺技能跑了两天,问题暴露得很干净。
跨业务通用规则在 37 个文件里各写一遍,开始版本漂移。A 技能是新版溯源规则,B 技能还是旧版,模型行为随路由结果摇摆。单技能约 6000 token 全量注入,大半和当前问题无关。改一条通用规则要动 37 个文件,漏一个埋一个雷。
本质是上下文衰减。注意力复杂度是 O(n²),上下文越长,关键信号越容易被噪声稀释。问题通常不是窗口不够长,是信息密度不对。
怎么做的:整合为 1+6+19 的三层。基座管合规,聚合索引管业务路由,模板管单一分析范式。层与层之间的关系写进规则,每层只写自己这一层的增量。
为什么这么做:基座和聚合索引常驻且极少变动,形成稳定前缀;模板按需追加在稳定前缀之后。LLM 的 KV 缓存按精确前缀匹配命中,读取折扣可达 90%。常驻层短且稳定是双重收益:省 token,且保缓存命中。稳定的大基座比频繁变动的小提示实际更便宜,这也是基座能长到 364 行还划算的原因。
解决了什么:单技能上下文从约 6000 token 降到约 1200,省了 80%。代价是 ReAct 循环里多了读模板的步骤,迭代容易触顶,所以把迭代上限提到 20。按需加载必须配一条硬禁令:严禁一次性读取全部模板。没有这条,模型偶尔图省事全读一遍,分层退化回全量注入。测试要专门覆盖这条退化路径。
一处定义、处处引用是另一条关键约束。同一条规则两处写,两个版本各自漂移,模型面对互相矛盾的指令,行为不可预测。落点不唯一,缺陷永远修不干净。DRY 在提示词体系里的意义不是简洁,是让测试失败有唯一归因点。
描述字段也归测试管。它的运行时职责只有一个:判断当前问题要不要加载我。写功能简介对判别没有增量,却要为"加载后才用到的信息"付每轮常驻成本。45 token 的简介和 9 token 的"何时用、何时不用",路由准确率相当,常驻成本差 5 倍。短和准是两个独立要求,缺一不可;短到过泛又会让任何相关问题都触发它。
五、缺陷驱动:规则是在现场磨出来的
基座里每一条硬规则背后都有一个真实坏例。
溯源编号要求纯文本尖括号,模型输出成 HTML 上标、方括号、中文括号,前端解析全挂。归因是规则只说"要标注",没封死变体。LLM 有排版美化倾向,你留的自由度,它一定会用掉。做法是把见过的变体逐一列为禁止项。这本质是 fuzz 测试的思路:把模型的自由发挥空间当输入域来枚举。
两个研究员对净利润的预测是 1.6 亿和 2.0 亿,模型输出"1.6-2.0 亿元"。分歧被伪装成区间。冲突发生在模型的流畅性偏好和业务的"分歧必须显性"之间。不显式禁止,模型永远选流畅。规则配正误两种输出示例,说明连字符会被误读为范围。这一条带来的不止是纠偏:优化后模型会主动用对比表格呈现多维分歧,行是维度,列是研究员,单元格内附来源。结构化的好行为不是写出来的,是约束到位后自发组织的。纠错型规则要狠,增强型规则要准,两者写法不同。
用户问 2018 年,库里没有,模型拿 2019 年答且不说明。这条修复横跨两层,最值得测试开发借鉴。
提示层要求范围内无匹配时披露三件事:指定范围内未检索到、库中实际可用时段、请用户调整范围或确认是否接受范围外参考。流式输出无法中途等确认,所以配了同轮披露加分隔线的降级方案。规则要适配真实交付形态。
代码层更关键:前端显式指定时间范围时置位标志,代码直接忽略模型生成的时间参数,强制用前端值。时间约束从"提示模型遵守"升级为"系统保证遵守"。
这条给出了一个可复用的判据:确定性约束下沉为代码。时间范围、检索次数上限、引用编号分配、迭代上限,都是先在提示里约束、复发后升级为代码护栏的。同一坏例改两次提示还复发,就该代码化。概率约束保证不了的东西,别让它承担硬边界。
检索也有类似的一收一放。首轮必须直接用原始问句,严禁拆成关键词碎片——检索服务对完整自然句的理解远好于碎片。补检索只放开两种场景,单轮上限 5 次,超限后检索工具只返回提示文本,不再把完整结果重复注入上下文。模型不听话,系统兜得住。
缺陷修复可以固化成五步:归因分层,先判断问题在意图层、架构层、模板层还是工程层,别条件反射改提示;落点选择,区分确定性约束和语义性约束;落点唯一,共性入基座,特性入模板;配正误示例,抽象规则说不清"怎么做";登记自检并回填评测集。
每条硬规则配示例不是加分项。LLM 对可模仿样本的遵循度高于对抽象约束的遵循度。规则只表达"是什么",示例才表达"怎么做"。
六、评测体系是主战场
前面每一次改,都依赖一个前提:改完得知道有没有变好,有没有把别的改坏。没有评测集,调优就是玄学。
评测分三层,对应三层制品。
意图层用离线评测集加契约测试。评测集从 v1 演进到 v4,20 条真实业务用例单独标记为 L0,每次变更必须全对才能发布。契约测试锁定意图体系的结构约定。这一层独立可回归,不和技能层耦合。
输出层用自检清单加坏例回归。基座的"交付前自检"是让模型在输出前跑一轮自评;每个现场坏例修复后回填,成为永久回归项。
端到端用独立评测脚本。约 1200 行,三通道采集:SSE 流式客户端对应视角,服务端日志解析对应系统视角,LLM 判分对应质量视角。零依赖后端源码,产出结构化报告和 Markdown 报告。这一点最值得学:评测系统和被测系统解耦,被测系统怎么重构都不影响评测可信度。
评测集本身也要被评测。v1 的问句偏短偏模板化,v2 换成真实业务风格的长句,同一套基线配置,分数从 84.59% 掉到 77.57%。分数难看了,信号真实了。同一套优化手段,在 v1 上只测出 4.6pp,在 v2 上测出 12.7pp。太简单的评测集不只虚高分数,还会让你低估优化价值,过早得出"没什么可改"的结论。
两个不能混用的指标:Pass@k 是 k 次里至少一次对,用来探能力上限;Pass^k 是 k 次全对,用来做上线回归。L0 用例过滤走的是后者。混用会导致一个能偶尔答对的用例被当成稳定通过。
一条铁律:看到指标下降,先查评测系统。评分器 bug、用例和生产脱节、环境噪声,在结果数字上和模型退化一模一样。基于失真信号改提示,方向从一开始就是错的。
启动门槛比想象中低。第一个失败就该建评测,20 到 50 个真实案例够起步。判断用例质量有个简单标准:两个领域专家对同一案例独立判断,结论不一致,说明验收标准没定义清楚。先解决定义,再收数据。
完整节奏是:改规则、跑 L0 冒烟、全量回归、上线观察坏例、回填评测集,循环。评测集、典型问句库、FAQ 库同源共建,同一份业务语料整理一次,三处复用。
结尾
测试开发的边界在移动。以前测代码,现在还要测数据、测提示、测模型行为。被测对象变成了概率系统,断言方式就得从"对或错"改成"分布和回归"。
这条分工线会一直存在:模型负责推理,外部系统负责状态和边界。测试开发要盯的,正是这条边界有没有守住。该外置的外置了没有,该常驻的写短了没有,该按需的拆开了没有,该枚举的封死了没有。
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。
生成这件事,机器已经做得够快。验证这件事,还没有。