告别AI“失忆症”:用知识库与工作流,打造工业级AI测试用例生成流水线

简介: 本文详解AI测试用例生成的进阶实践:构建可更新的多模态知识库(向量RAG/图谱RAG/Markdown),并设计四步可控工作流——多路检索→功能拆分→场景生成→用例细化,实现高覆盖、工业级自动化。

引言:从入门到进阶的挑战
大家好,在上一期的分享中,我们带领大家使用 DeepSeek Harness(一个智能体开发框架)搭建了一个基于本地Harness的智能体,并学习了一些基础的优化技巧:

让AI帮我们生成更精准的提示词(Prompt)。
引导AI增加中间推理过程(CoT,思维链)。
让AI能并行调度子智能体,进行更细粒度的任务拆分。
通过这些技巧,我们最终获得了一个能够生成不错测试用例的智能体。但是,它有一个明显的局限:它的“大脑”只能基于我们单次喂给它的PDF文档进行分析。当我们的项目文档变得庞大、复杂且数量众多时,这种简单的方式就显得力不从心了。

今天,我们将正式进入进阶篇,核心解决两个问题:

如何构建一个庞大的、可持续更新的业务知识库?
如何将知识库与更可控的工作流(Workflow)结合,生成工业级、高覆盖率的测试用例?

第一部分:升级你的知识库——告别简单的“文件读取”
在上次的练习中,我们使用了一个简单的pdf_to_text技能,每次都临时读取整个PDF文件。这种方式有几个致命伤:

上下文窗口限制:大模型的上下文长度是有限的,一次塞入整个大型文档会导致信息丢失。
无法持续积累:每次都是临时“阅读”,没有形成积累,无法跨文档关联知识。
检索效率低:难以针对特定功能模块(如“打卡管理”)快速精准地找到相关描述。
为了升级,我们需要引入知识库(Knowledge Base) 的概念。知识库的本质是:将非结构化的原始文档,转化为结构化的、易于检索的“外部大脑”。行业内有几种经典的技术路径:

基于向量的检索(Vector RAG):
代表产品:Dify 知识库。
原理:将文档切分成段落,通过嵌入(Embedding)模型计算出每个段落的向量(即数学意义上的“语义指纹”),存入向量数据库。查询时,将问题也转化为向量,检索出语义最相关的几个段落。
优势:语义检索能力强,能理解“考勤机如何用”和“打卡设备操作”是同一种意思。
基于知识图谱的检索(Graph RAG):
代表产品:LightRAG。
原理:利用大模型分析文档的每个段落,抽取出其中的实体(如“智能考勤机”、“HR”、“审批流程”)和它们之间的关系,构建成一个庞大的知识网络(图谱)。
优势:不仅能找到相关段落,更能理解业务之间的关联关系。例如,查询“考勤机”时,能关联返回“行政人员”、“WiFi打卡”和“管理后台”等相关实体,上下文理解更精准。
本地Markdown知识库(简单方案):
代表工具:milkdown 等本地知识管理工具。
适用场景:个人或小团队本地快速验证。
原理:通过一个自动化脚本,将/docs目录下的PDF、Word等文档,统一解析并转换为结构化的Markdown文件,形成一个轻量级的本地Wiki。
小结:无论哪种方案,其核心流程都是 “文档加载 -> 数据清洗/拆分 -> 存储(向量/图谱/Markdown) -> 检索” 。理解了这个底层逻辑,你就掌握了知识库的钥匙。

第二部分:工作流(Workflow)——让流程从“混沌”走向“可控”
当我们只依赖单智能体(Agent)时,所有的流程控制都靠自然语言描述(Prompt)。这在流程简单时是可行的,但当流程包含并行、分支、循环和多轮检索时,Prompt会变得极其复杂且不稳定。

这时,我们需要引入工作流(Workflow) 。它和智能体的关系可以这样理解:

智能体(Agent):是一种特殊的、由大模型自主决策下一步行动的工作流(Agent Loop)。
工作流(Workflow):是一种由人来预定义好每一步做什么、顺序如何、条件分支如何的“确定性”流程。
在AI测试用例生成场景中,使用工作流的优势巨大。一个典型的高质量用例生成工作流包含以下步骤:

步骤 1:多路知识检索(Multi-path RAG)用户输入需求(例如:“请为V2.0版本的‘打卡管理’功能生成测试用例”),工作流的第一步并不是把整个需求文档喂给AI,而是并发去多个知识库中检索:

从向量库中检索“打卡管理”相关的语义段落。
从知识图谱中检索“打卡管理”涉及的实体和关联关系。
从本地Markdown库中检索相关章节。
步骤 2:上下文聚合与功能点拆分将多路检索到的所有上下文汇总后,交给第一个大模型节点。这个节点的任务是:不要生成用例,而是基于上下文,拆分出本次需要测试的所有功能点(Feature List)。这个步骤非常关键,它能确保我们不会遗漏任何功能。

步骤 3:测试场景与测试点生成遍历上一步生成的每一个功能点,将其作为一个独立任务,结合该功能点专属的上下文,交给下一个模型节点。这个节点的任务是生成该功能点下的测试场景(Scenario) 和测试点(Test Point)。

步骤 4:详细测试用例生成针对每一个测试点,再次结合最细粒度的上下文,让AI生成最终的、包含详细步骤和预期结果的测试用例(Test Case)。

可视化流程:[用户输入] -> [多路知识检索] -> [功能点拆分] -> [测试场景/点生成] -> [详细用例生成] -> [输出]

通过工作流,我们将一个复杂的、混沌的任务,拆解成了一个个职责清晰、输入输出明确的“流水线工序”。现在主流的AI应用开发平台(如Dify)都提供了可视化的Workflow编排功能。

第三部分:实践指南——从入门到落地
对于新手,建议按以下路径实践:

  1. 入门级方案(工具:Dify)

在Dify中创建一个知识库,上传你的业务文档(PDF/Word/TXT)。
使用Dify的可视化工作流编排功能,按照上文“第二部分”的逻辑,拖拽出知识库检索、LLM、代码执行等节点,将流程串起来。
优点:上手快,可视化程度高,适合流程初探。
图片

  1. 进阶级方案(工具:DeepSeek Harness + 脚本)

当流程极其复杂,图形化拖拽变得低效时,可以考虑使用 DeepSeek Harness 这类框架。
它允许你用JavaScript/TypeScript编写工作流脚本。甚至可以让AI帮你“蒸馏”出一份工作流代码。
优点:版本控制(Git)、调试方便、扩展性强,适合专业团队。

相关文章
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
2026测试Skill大爆发:从“会写脚本”到“会设计智能体”
2026年测试行业正经历结构性变革:手工测试需求降47%,全栈测开增340%。“熟悉MCP协议”“具备Skill封装与工程化能力”已成硬性门槛,而非加分项。测试核心正从“写脚本”跃迁为“设计智能体”——验证对象由功能转向AI决策能力,底层资产从用例库升级为可复用Skill库。
|
2月前
|
人工智能 JavaScript 测试技术
从需求到用例全自动:三条知识库路径+两种工作流,我搭了一套永不掉链子的测试智能体
别再让AI反复读文档!本文揭秘如何用“知识地图”(向量库+知识图谱+Markdown库)构建AI长期记忆,结合工作流编排,实现精准、关联、可复用的测试用例自动生成——从临时喂文档,升级为智能导航式测试生产力。
|
2月前
|
Linux API iOS开发
Ollama 保姆级实战教程:本地离线部署开源大模型,Windows/macOS/Linux 全平台安装、API 调试与故障排坑详解
Ollama降低了本地运行开源大模型的门槛,普通个人电脑就可以离线运行Qwen、DeepSeek‑R1、Llama等主流开源模型,数据保存在本地,保障隐私安全。整套工具由图形界面、终端命令、REST API三部分组成,支持Windows、macOS、Linux三大平台。
818 0
|
2月前
|
人工智能 JavaScript 前端开发
Anthropic 官方 Web Testing Skill 公开了:我拆了一遍,它是怎么用 Playwright 做测试的
本文探讨AI测试新范式:从生成脚本转向构建测试Agent。Anthropic的webapp-testing Skill以“先侦察、再执行”为核心,通过决策树引导Claude动态理解页面、选择操作、验证结果,并强调证据链(截图/日志)、工程分层与可评测性。它标志着AI测试正从“写代码”迈向“自主完成测试任务”。
|
2月前
|
人工智能 自然语言处理 架构师
微软ASSERT开源框架来了:一句话描述需求,自动生成AI行为测试
ASSERT是微软开源的AI行为测试框架,将自然语言描述的行为规范自动转化为可执行、可评分、可回归的测试。它通过四阶段流水线(Systematize→Test Set→Inference→Judge),评估AI完整执行轨迹而非仅输出结果,助力团队高效验证AI是否“合规”而非仅“正确”。
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
多模态 AI:从基础定义到工作原理与典型应用场景解析
多模态 AI 是处理并整合文本、图像、音频、视频等信息的机器学习模型。它通过特征提取与模态融合关联上下文,适合图片生成文字回复、视频告警和多模态 RAG 入门。
315 0
|
2月前
|
机器学习/深度学习 人工智能 文字识别
计算机视觉:定义原理、常见能力与落地应用场景
计算机视觉是让计算机理解图像和视频并提取信息的 AI 子领域。它通过机器学习、深度学习等方法支持图像识别、OCR,帮助判断计算机视觉应用场景。
286 0
|
2月前
|
存储 自然语言处理 API
语音识别:从音频转文本到实时应用场景与开发接入完整指南
语音识别是将口语音频转换为文本的技术。通过接收音频流生成可读文本,支持实时语音转文本。适合听写、在线会议字幕、呼叫中心和智能助手等场景。
249 0
|
2月前
|
自然语言处理 算法 API
文本生成与文本摘要原理详解:核心流程、主要类型与应用场景
文本生成与文本摘要是利用 NLP 将输入信息生成自然语言或压缩为摘要的技术。文章说明核心流程、抽取式摘要与抽象式摘要差异,并帮助判断文档、问答和对话场景中的适用边界。
165 0
|
2月前
|
人工智能 测试技术 知识图谱
DeepSeek Harness + RAG 知识图谱:AI 测试用例生成,为什么不能只靠 Prompt?
9月1日公益训练营聚焦AI生成测试用例的工程落地:突破“写出来”瓶颈,构建RAG+知识图谱+智能体(Harness/MCP/Subagent)协同链路,让AI真正理解业务、追溯依据、支持验证与持续更新。

热门文章

最新文章