DeepSeek Harness + RAG 知识图谱:AI 测试用例生成,为什么不能只靠 Prompt?

简介: 9月1日公益训练营聚焦AI生成测试用例的工程落地:突破“写出来”瓶颈,构建RAG+知识图谱+智能体(Harness/MCP/Subagent)协同链路,让AI真正理解业务、追溯依据、支持验证与持续更新。

9 月 1 日晚的「智能化测试·测试用例生成公益训练营」,我们从一个更贴近研发现场的问题切入:面对一个已经运行多年的业务系统,怎样让模型找到正确资料、理解规则关系,再给出能被验证、被追溯、也能持续更新的测试用例?

截至 22:01 的现场截图,已有 3025 人看过。临近结束时,评论区里有人直接追问“项目中的 flaky 用例如何定位和管理”,也有人把关注点放到上下文、知识图谱粒度、代码与文档更新、开发实现与需求不一致等真正会影响落地的问题。

AI 测试用例生成,难的从来不是“写出来”
把一份需求丢给模型,再补一句“从功能、异常、边界等维度生成测试用例”,几十秒就能得到一大段输出。

问题是,看上去很全,不等于项目里能用。

模型默认不知道:

这个业务曾经踩过哪些历史 Bug;
某个“看起来正常”的流程,在哪些角色、时间、状态下会失效;
产品原型、接口约束、研发实现、已有用例之间,哪一份才是当前可信的事实;
一个结论来自哪段需求、哪条规则,测试人员该如何复核。
所以,AI 测试用例生成不应该理解成“换一个更厉害的 Prompt”。它更像一条有输入、有检索、有推理、有验证出口的工程链路:

业务资料进入知识库 → 检索与关联规则 → 识别测试风险 → 输出结构化用例 → 人工审核与持续更新。

评论区里有两个问题,正好把这条链路的难点说透了:知识图谱里要不要放前置条件、预期结果?只做到特性级关联,能不能生成足够细的测试用例?

答案不是“图谱越大越好”,而是要让它为测试决策服务。一个可用的测试知识结构,至少要把业务对象、状态、角色、规则、前置条件、异常分支、预期结果、历史缺陷与证据来源连接起来。

如果只有“功能 A 关联功能 B”这种粗颗粒关系,模型最多写出一份泛泛的检查清单;如果能进一步定位“某角色 + 某状态 + 某个时间条件 + 某条业务规则”,它才有机会生成真正可执行的边界与异常用例。

先让 AI 看见业务,而不是让它猜业务
这场实操中,一个很关键的环节是“业务知识库建设”。它不是把 PRD 一股脑塞进对话框,而是从多个信息源还原一个业务系统:

需求文档里的业务逻辑与业务架构;
原型设计里的页面结构与交互流程;
研发代码里的业务细节、数据类型与页面结构;
对被测系统的实际探索,包括真实流程、数据和最终呈现。

图片

这也是 RAG 在 AI 测试里的第一层价值:让模型在回答前,先从可信资料里取回证据。

但只做“相似文本检索”还不够。测试场景经常不是一句需求能解释的。例如“上下班打卡”这件事,可能同时受到早退、特殊日期、审批、设备、企业微信、补卡申请等规则影响。模型若只检索到“打卡”这一个词,很容易漏掉间接约束。

RAG 负责找证据,知识图谱负责找关系
这正是知识图谱进入测试场景的意义。

在直播实操画面里,可以看到“上下班打卡”“特殊日期打卡”“早退”等业务节点及其关联。它不是为了画一张好看的图,而是为了把散落在文档、代码和页面里的规则,变成可以被追踪、扩展和验证的关系网。

更实用的组合方式是:

RAG 先召回原始需求、接口说明、历史用例和缺陷记录,给模型可引用的事实依据;
知识图谱再补充业务对象之间的关联,帮助模型找到隐含的规则与影响范围;
Agent 按固定步骤拆解任务:识别范围、检索资料、补齐风险、生成用例、标出证据;
测试人员审核高风险边界,并把确认过的结果沉淀回用例库和知识库。
这样生成的用例,才不只是“模型觉得合理”,而是能回答三个关键问题:依据是什么?漏了什么?需求变了以后怎么更新?

DeepSeek Harness、Skill、MCP、Subagent:不是工具清单,而是工作流
这次公开课里出现的 DeepSeek Harness、Skill、CLI、MCP、RAG、Subagent,容易让人误以为测试工程师必须把所有工具都学一遍。

其实不必。

真正需要建立的是一条可控工作流:

Harness:把一次任务变成有步骤、有状态、有反馈的执行过程;
Skill / MCP / CLI:让智能体能按权限读取资料、调用检索、执行校验,而不只停留在聊天窗口;
Subagent:把检索、页面探索、用例设计、结果校验等任务适度拆开,避免一个 Agent 同时承担所有工作;
RAG 与知识图谱:把长期业务知识放在可复用、可更新的外部体系里,而不是赌模型一次会话“记得住”。
临近结束时,现场就有人追问:重复生成多个模块的用例,一旦超过上下文限制,即使用了子智能体,会不会还是丢信息?

这个问题非常专业。Subagent 不是“无限记忆外挂”。

跨任务要继承的,不该只留在某个 Agent 的聊天记录里,而要沉淀成可访问的共享资产:需求版本、规则节点、案例库、历史缺陷、检索索引、输出规范。子智能体负责的是把任务范围和职责划清;真正保证连续性的,是外部知识、引用关系和更新机制。

同样,开发提测内容和需求实现不一致时,AI 也不该替团队“猜一个答案”。更可靠的做法是让它把冲突标红:一边给出需求证据,一边给出页面或接口实际证据,并把“需要产品/研发确认”的项单独列出。AI 的价值不是掩盖不确定性,而是更早暴露不确定性。

测试工程师接下来要练的,是“让 AI 按测试思路工作”
未来的差距,可能不在于谁更快生成一百条用例,而在于谁能把下面四件事设计清楚:

知识从哪里来;
用例按什么标准生成;
模型输出如何被验证;
系统变化后如何更新。
从“让 AI 写用例”走到“让 AI 参与测试流程”,中间隔着的正是这套工程化能力。

相关文章
|
1月前
|
人工智能 测试技术 定位技术
从0到1打造测试用例生成智能体:RAG+知识图谱实战全记录
本文揭秘如何用“RAG+知识图谱+智能体”三合一方案破解AI测试用例乱编难题:RAG负责精准检索文档,知识图谱建模业务关系(如“订单取消→库存回滚”),智能体融合二者驱动大模型生成高覆盖、可验证的用例。实战中人工审核通过率从32%跃升至89%,让AI不再瞎编,而是照着“业务地图”精准行走。
|
23天前
|
人工智能 测试技术 开发工具
从零部署 DeepSeek Harness:AI 智能体运行框架,安装步骤、运行模式选型与代码集成解析
大模型对话产品已经非常普及,但绝大多数对话产品仅仅停留在文本问答层面,模型只能输出文字,无法真正读写本地文件、执行终端命令、自动拆分多步骤任务完成复杂工作。想要让大模型真正操作本机环境,就需要一套Agent运行时框架。DeepSeek Harness(简称DSH),就是2026年8月开源的Agent运行框架,目前处于开发者预览阶段,它的核心思想是**模型负责思考推理,Harness负责执行真实环境操作**。项目底层基于Cordis插件架构,模型适配、工具集、会话管理、沙箱权限、存储、Agent主循环全部以插件形式实现,开发者可以直接在配置层替换、新增、删减模块,拥有极高的扩展自由度。
283 1
|
1月前
|
XML 人工智能 JSON
阿里开源:skill-up,一款Agent Skill 评测工具!
阿里开源的 skill-up 是首个专为 Agent Skill 设计的评测与演进工具,将软件测试方法论完整迁移:支持多引擎运行、声明式 YAML 用例、规则/脚本/LLM 三类断言,并内置自动修复与回归闭环。本地可跑,CI 可集成,让 Skill 质量可度量、可保障。
955 1
阿里开源:skill-up,一款Agent Skill 评测工具!
|
数据采集 SQL 人工智能
DataWorks AI 助理:实现数据异常诊断工作流
本文介绍DataWorks数据异常诊断AI助理,通过语义映射、多维诊断(任务状态/数据质量/代码变更/血缘分析)和经验沉淀,实现业务方自助提报、研发高效定位。典型场景如任务依赖漏配、指标口径不一致等,可大幅压缩排查耗时,提升数据问题响应效率。(239字)
442 0
DataWorks AI 助理:实现数据异常诊断工作流
|
1月前
|
人工智能 测试技术 定位技术
Skill粒度拆多细?一个测试总监踩过的坑和4条铁律
本文总结测试AI Agent技能(Skill)设计的四大铁律:一个Skill只做一件事、2-3模块为佳、SKILL.md≤500行、description+when_to_use≤1536字符。通过47→12个Skill的重构实践,揭示过度拆分反致AI选错、上下文爆炸、维护困难等痛点,强调“精”胜于“多”。
|
1月前
|
Web App开发 人工智能 JavaScript
【AI】Agent 全栈进阶|Agent 工程化与兜底
Agent开发中,LLM动态决策易致死循环、误调用、权限越界三大故障。通过设置最大步数、工具分级与参数校验、人工确认等四道防线,可有效兜底。实战“加盟助手”演示规避风险,保障Agent稳定运行
254 4
|
1月前
|
人工智能 前端开发 测试技术
Skills + MCP + Playwright:AI 自动化测试的“假通过”怎么治?
AI生成UI自动化脚本易现“假通过”:页面提示成功,但业务实际失败。根源在于仅断言前端Toast,忽略接口响应与业务状态校验。本文提出构建“UI-接口-业务状态一致性”Skill,推动AI从“跑通流程”转向验证真实业务结果,让AI成为可控的质量协作者。
|
1月前
|
人工智能 自然语言处理 前端开发
别再只会 assertEquals 了:AI 测试开发要补的 4 个 Skill——LLM 评测、RAG、Agent、MCP
本文直击AI测试转型痛点,提出4项落地技能:语义断言替代字符串比对、RAG分层评测(检索+生成)、Agent调用链路验证、AI评测集成CI。聚焦“测不确定系统”,助力测试工程师跨越从传统功能测试到AI质量保障的能力鸿沟。
别再只会 assertEquals 了:AI 测试开发要补的 4 个 Skill——LLM 评测、RAG、Agent、MCP
|
1月前
|
人工智能 JavaScript 测试技术
从需求到用例全自动:三条知识库路径+两种工作流,我搭了一套永不掉链子的测试智能体
别再让AI反复读文档!本文揭秘如何用“知识地图”(向量库+知识图谱+Markdown库)构建AI长期记忆,结合工作流编排,实现精准、关联、可复用的测试用例自动生成——从临时喂文档,升级为智能导航式测试生产力。

热门文章

最新文章