DeepSeek Harness + RAG 知识图谱:AI 测试用例生成,为什么不能只靠 Prompt?

简介: 9月1日公益训练营聚焦AI生成测试用例的工程落地:突破“写出来”瓶颈,构建RAG+知识图谱+智能体(Harness/MCP/Subagent)协同链路,让AI真正理解业务、追溯依据、支持验证与持续更新。

9 月 1 日晚的「智能化测试·测试用例生成公益训练营」,我们从一个更贴近研发现场的问题切入:面对一个已经运行多年的业务系统,怎样让模型找到正确资料、理解规则关系,再给出能被验证、被追溯、也能持续更新的测试用例?

截至 22:01 的现场截图,已有 3025 人看过。临近结束时,评论区里有人直接追问“项目中的 flaky 用例如何定位和管理”,也有人把关注点放到上下文、知识图谱粒度、代码与文档更新、开发实现与需求不一致等真正会影响落地的问题。

AI 测试用例生成,难的从来不是“写出来”
把一份需求丢给模型,再补一句“从功能、异常、边界等维度生成测试用例”,几十秒就能得到一大段输出。

问题是,看上去很全,不等于项目里能用。

模型默认不知道:

这个业务曾经踩过哪些历史 Bug;
某个“看起来正常”的流程,在哪些角色、时间、状态下会失效;
产品原型、接口约束、研发实现、已有用例之间,哪一份才是当前可信的事实;
一个结论来自哪段需求、哪条规则,测试人员该如何复核。
所以,AI 测试用例生成不应该理解成“换一个更厉害的 Prompt”。它更像一条有输入、有检索、有推理、有验证出口的工程链路:

业务资料进入知识库 → 检索与关联规则 → 识别测试风险 → 输出结构化用例 → 人工审核与持续更新。

评论区里有两个问题,正好把这条链路的难点说透了:知识图谱里要不要放前置条件、预期结果?只做到特性级关联,能不能生成足够细的测试用例?

答案不是“图谱越大越好”,而是要让它为测试决策服务。一个可用的测试知识结构,至少要把业务对象、状态、角色、规则、前置条件、异常分支、预期结果、历史缺陷与证据来源连接起来。

如果只有“功能 A 关联功能 B”这种粗颗粒关系,模型最多写出一份泛泛的检查清单;如果能进一步定位“某角色 + 某状态 + 某个时间条件 + 某条业务规则”,它才有机会生成真正可执行的边界与异常用例。

先让 AI 看见业务,而不是让它猜业务
这场实操中,一个很关键的环节是“业务知识库建设”。它不是把 PRD 一股脑塞进对话框,而是从多个信息源还原一个业务系统:

需求文档里的业务逻辑与业务架构;
原型设计里的页面结构与交互流程;
研发代码里的业务细节、数据类型与页面结构;
对被测系统的实际探索,包括真实流程、数据和最终呈现。

图片

这也是 RAG 在 AI 测试里的第一层价值:让模型在回答前,先从可信资料里取回证据。

但只做“相似文本检索”还不够。测试场景经常不是一句需求能解释的。例如“上下班打卡”这件事,可能同时受到早退、特殊日期、审批、设备、企业微信、补卡申请等规则影响。模型若只检索到“打卡”这一个词,很容易漏掉间接约束。

RAG 负责找证据,知识图谱负责找关系
这正是知识图谱进入测试场景的意义。

在直播实操画面里,可以看到“上下班打卡”“特殊日期打卡”“早退”等业务节点及其关联。它不是为了画一张好看的图,而是为了把散落在文档、代码和页面里的规则,变成可以被追踪、扩展和验证的关系网。

更实用的组合方式是:

RAG 先召回原始需求、接口说明、历史用例和缺陷记录,给模型可引用的事实依据;
知识图谱再补充业务对象之间的关联,帮助模型找到隐含的规则与影响范围;
Agent 按固定步骤拆解任务:识别范围、检索资料、补齐风险、生成用例、标出证据;
测试人员审核高风险边界,并把确认过的结果沉淀回用例库和知识库。
这样生成的用例,才不只是“模型觉得合理”,而是能回答三个关键问题:依据是什么?漏了什么?需求变了以后怎么更新?

DeepSeek Harness、Skill、MCP、Subagent:不是工具清单,而是工作流
这次公开课里出现的 DeepSeek Harness、Skill、CLI、MCP、RAG、Subagent,容易让人误以为测试工程师必须把所有工具都学一遍。

其实不必。

真正需要建立的是一条可控工作流:

Harness:把一次任务变成有步骤、有状态、有反馈的执行过程;
Skill / MCP / CLI:让智能体能按权限读取资料、调用检索、执行校验,而不只停留在聊天窗口;
Subagent:把检索、页面探索、用例设计、结果校验等任务适度拆开,避免一个 Agent 同时承担所有工作;
RAG 与知识图谱:把长期业务知识放在可复用、可更新的外部体系里,而不是赌模型一次会话“记得住”。
临近结束时,现场就有人追问:重复生成多个模块的用例,一旦超过上下文限制,即使用了子智能体,会不会还是丢信息?

这个问题非常专业。Subagent 不是“无限记忆外挂”。

跨任务要继承的,不该只留在某个 Agent 的聊天记录里,而要沉淀成可访问的共享资产:需求版本、规则节点、案例库、历史缺陷、检索索引、输出规范。子智能体负责的是把任务范围和职责划清;真正保证连续性的,是外部知识、引用关系和更新机制。

同样,开发提测内容和需求实现不一致时,AI 也不该替团队“猜一个答案”。更可靠的做法是让它把冲突标红:一边给出需求证据,一边给出页面或接口实际证据,并把“需要产品/研发确认”的项单独列出。AI 的价值不是掩盖不确定性,而是更早暴露不确定性。

测试工程师接下来要练的,是“让 AI 按测试思路工作”
未来的差距,可能不在于谁更快生成一百条用例,而在于谁能把下面四件事设计清楚:

知识从哪里来;
用例按什么标准生成;
模型输出如何被验证;
系统变化后如何更新。
从“让 AI 写用例”走到“让 AI 参与测试流程”,中间隔着的正是这套工程化能力。

相关文章
|
13天前
|
人工智能 测试技术 定位技术
从0到1打造测试用例生成智能体:RAG+知识图谱实战全记录
本文揭秘如何用“RAG+知识图谱+智能体”三合一方案破解AI测试用例乱编难题:RAG负责精准检索文档,知识图谱建模业务关系(如“订单取消→库存回滚”),智能体融合二者驱动大模型生成高覆盖、可验证的用例。实战中人工审核通过率从32%跃升至89%,让AI不再瞎编,而是照着“业务地图”精准行走。
|
29天前
|
人工智能 缓存 架构师
从需求文档到测试计划再到测试报告,Opencode一条龙流水线搭建教程(附完整配置)
本文介绍如何用Opencode构建端到端测试流水线:将需求解析、测试计划、用例生成、执行分析与报告生成拆解为5条可复用指令(/spec→/plan→/testgen→/test→/report),一次配置,终身调用。AI自动串联各环节,100页PRD到完整测试报告仅需2小时,解放测试工程师于重复劳动,让经验沉淀为可复用流程。
|
8天前
|
人工智能 测试技术 定位技术
Skill粒度拆多细?一个测试总监踩过的坑和4条铁律
本文总结测试AI Agent技能(Skill)设计的四大铁律:一个Skill只做一件事、2-3模块为佳、SKILL.md≤500行、description+when_to_use≤1536字符。通过47→12个Skill的重构实践,揭示过度拆分反致AI选错、上下文爆炸、维护困难等痛点,强调“精”胜于“多”。
|
11天前
|
Web App开发 人工智能 JavaScript
【AI】Agent 全栈进阶|Agent 工程化与兜底
Agent开发中,LLM动态决策易致死循环、误调用、权限越界三大故障。通过设置最大步数、工具分级与参数校验、人工确认等四道防线,可有效兜底。实战“加盟助手”演示规避风险,保障Agent稳定运行
|
12天前
|
人工智能 前端开发 测试技术
Skills + MCP + Playwright:AI 自动化测试的“假通过”怎么治?
AI生成UI自动化脚本易现“假通过”:页面提示成功,但业务实际失败。根源在于仅断言前端Toast,忽略接口响应与业务状态校验。本文提出构建“UI-接口-业务状态一致性”Skill,推动AI从“跑通流程”转向验证真实业务结果,让AI成为可控的质量协作者。
|
8天前
|
人工智能 自然语言处理 测试技术
测试工程师的简历,别再写“会用 AI 生成用例”
简历中勿堆砌AI工具名,应聚焦质量闭环:用“业务问题→真实约束→你的动作→可验证结果”四步法,展现如何用AI识别风险、设计规则、拦截问题、回溯验证。核心是替业务守住质量防线,而非炫技。
|
12天前
|
人工智能 安全
RAG 回答“看起来都对”,为什么用户还是不敢用?测试要补上这 4 层
本文揭示企业级RAG系统评测的关键:不止看答案“像不像”,更需分四层验证——知识检索准确性、证据使用完整性、未知时的诚实性、角色权限安全性。强调用结构化测试集(含expected_docs、角色等)定位链路故障点,构建真正可信的AI问答。
|
17天前
|
运维 数据可视化 物联网
基站查询 API:基于 LAC/CELLID 解析基站位置,实现设备粗略定位
本文介绍基站查询API能力,支持移动、联通、电信三网2G/3G/4G基站解析,可获取基站经纬度、覆盖半径、地址信息,适用于物联网兜底定位、设备风控、通信运维等场景。
|
1月前
|
SQL 运维 监控
慢查询日志的“高级用法”:从找慢SQL到做容量规划
慢查询日志是DBA最熟悉的工具,但大多数人只用它来找“跑得慢的SQL”。如果只做到这一步,你只用了慢查询日志20%的价值——剩下的80%是建立性能基线、预测容量瓶颈、评估优化效果、发现潜在风险。本文从慢查询日志的进阶用法出发,讲解如何通过持续记录慢查询建立性能基线、如何通过慢查询趋势预测容量瓶颈、如何将慢查询日志从“故障排查工具”升级为“容量规划工具”,帮助读者从“出了问题再查”升级到“看着趋势主动调整”。
|
4月前
|
存储 SQL 关系型数据库
【MySQL】MySQL基础架构:连接器、分析器、优化器、执行器、存储引擎
MySQL采用分层插件式架构,分为Server层(连接器、分析器、优化器、执行器)与存储引擎层(如InnoDB)。前者统一处理SQL解析、优化与权限管控,后者专注数据持久化、事务、锁及索引。两层通过Handler API解耦,职责清晰、扩展性强,是理解性能优化、故障排查与高可用设计的基石。