一、背景

1.1 业界分析与思考

随着大模型的不断演进，测试行业基于AI也在做不同程度的探索，在agent智能体生成方面，基本使用的是prompt+RAG的方式，构建特定业务的需求分析/测试用例生成/数据构造智能体等。下述是以用例生成为例的一些业界方案和效果：

参考文章：QECon大会以及外部分享

对业界能力的分析，基本都是基于prompt+RAG做能力拓展，没有涉及对模型的微调。过程中存在着对需求解析，测试分析过程，知识库建设的差异化处理。基于对天猫技术业务的理解和发展趋势的判断，我们需要针对天猫技术不同行业特性，做用例生成差异化的处理，同时针对强依赖的输入产物（prd）做一定的规范化处理。

1.2 天猫行业特性

在瞬息万变的电商行业，业务迭代速度快，对产品质量要求日益提高。测试团队面临着以下挑战：

• 版本节奏快，人力成本高：快速的版本迭代要求测试团队投入大量精力，但同时面临人力成本控制的压力。
• 传统测试模式的瓶颈：测试用例的设计、维护和执行，尤其是针对复杂场景和边界条件，高度依赖测试工程师的经验和时间投入，效率和覆盖率存在提升空间。

当然在测试用例编写阶段，也存在着如下痛点：

• 用例设计效率低：人工编写测试用例耗时耗力，难以覆盖所有场景，尤其是异常和资损场景。
• 需求理解偏差：不同测试人员对需求的理解可能存在差异，导致用例设计的不一致性。
• 知识沉淀不足：基线用例、踩坑点、业务背景等知识的有效沉淀和复用机制不完善。
• 人工成本高：大量重复性、模式化的用例编写工作占用了QA大量的工作时间

同时经分析，现有业务特性差异较大，主要划分成5类业务类型，分别为：营销解决方案，导购场域，交易结算，多部门协作，中后台，如何针对不同业务类型做用例生成的适配和应用，也是面临的难题之一。

为应对上述挑战，我们的核心目标是通过AI技术，实现测试用例的智能化生成，并构建一个符合行业特性的测试流。

二、实施策略

2.1 用例生成思路

对于QA来说，我们需要通过一系列手段来保障业务的质量，同时探索业务的天花板，这一系列手段包括：围绕业务迭代的需求交付，需求理解->风险评估->用例设计->用例执行->缺陷追踪->集成/回归->发版/上线->反馈跟踪。

其中从用例设计到最终的回归约占据了QA 70%的时间，在当下对于质量要求高，版本节奏快，人力成本缩减的前提下，急需借助大模型来辅助测试设计，建设相关的智能化工具。整体思路如下：

2.2 具体实施方案

围绕AI用例生成的目标，制定了“需求规范化 + Prompt工程 + 知识库RAG + 平台化集成”的总体策略，并辅以Agent能力建设，提升日常知识库建设人效。

1.Prompt工程与流程优化：通过精细化的Prompt设计，结合上下文信息，引导LLM生成高质量的测试用例。搭建端到端的用例生成Flow，将AI能力集成到现有工作流中。

2.高质量知识库构建：系统性地沉淀业务背景、基线用例、特殊场景（踩坑点）、资损场景等，并结合RAG技术，提升AI生成用例的相关性和准确性。

3.需求规范化：推动PRD规范化，提供标准化模板，提升需求输入的质量，从而提高AI生成用例的稳定性和覆盖率。

4.AI Agent赋能：过程中迭代专门的AI Agent，用于知识库构建、PRD补全、知识库检查等，进一步降低人工成本，提升效率和质量。

5.平台化集成：将AI能力集成至用例管理平台，实现平台化操作。

整体流程如下：

2.2.1 Prompt工程与流程

为了降低不同人员需求理解，用例设计差异性，提升用例可读性和后期维护成本，当前prompt严格遵循该策略，包含：

1.基于前置功能用例和需求推导非功能用例，包含定义异常，资损等设计原则和具体案例，通过RAG和prompt的方式来增强用例设计的确定性。

2.针对较复杂需求，可以自主拆分成业务模块，针对单模块通过test copilot进行对话式生成，并可以通过对话进行用例的修改。

3.支持各行业灵活定制行业特性和行业示例。

4.搭建从需求输入到用例输出的端到端AI用例生成Flow，根据行业标签，路由至行业知识库/prompt/行业示例等。

2.2.2 高质量知识库构建

针对如何提升RAG召回的精确性，我们确定了知识库建设的标准，通过知识库的动态检索，提升用例的覆盖率和采纳率，整体思路如下：

RAG部分详细内容如下：

1.知识库范围：

a.测试用例：基线用例，特殊用例（踩坑点）等。

b.业务背景：领域术语、业务流程、用户故事等。

c.资损场景：触发条件、影响范围、测试重点等。

2.数据格式（结构化存储）：文本（纯文本，markdown，JSON格式），表格。

3.数据检索：包括分块策略，召回策略、索引方法。

4.知识库维护：数据清洗、去重，更新机制。

针对沉淀的内容，可通过业务域->功能模块->功能点进行拆分，利用关键词来召回最小单元的功能点，示例如下：

为了节省人工构建知识库的成本，还探索了知识库自动构建agent，可基于原始技术文档可以快速构建知识库，提取出业务术语，业务流程，核心功能点等。

对于当前切分不合理的知识库，通过agent进行重构，可有效提升知识库的切片效果。如下示例所示，原知识库单个功能描述被切分至多个无效片段——>而通过agent进行构建后，可对全文信息进行整合总结，单个片段内容更完整和结构化。

2.2.3 需求规范化

通过多轮需求测试，发现prd质量对用例生成的覆盖率影响较大，通过与PD合作，定义和推广标准化PRD模板，来进一步提升用例生成的稳定性。当前已在天猫APP多个业务域试点，并完成相关实践，通过标准化产出的prd测试结果如下：

• AI生成的用例采纳率和AI用例覆盖率有明显提升；
• 生成用例已初步区分用例模块，以及整体用例设计更完善，所有子模块用例均涉及；

2.2.4 平台化集成

当前用例生成已集成至用例管理平台，提供可视化操作入口。支持Ai-Test和Test Copilot 两种形式。结合Test Copilot等工具，支持复杂需求模块化拆解与对话式用例生成。当前天猫技术质量也继续探索AI在数据构造、用例执行等更方面的应用，形成全流程自动化。

三、应用效果

1. 采纳率：在偏向于C端表现部分（如导购、详情）表现较好，采纳率可以达到85%以上，但在B端（如资金、供应链）表现一般，采纳率普遍不到40%。

2. 实际提效：在导购场域、营销解决方案领域中，中小型需求的用例编写时间从2小时缩短至0.5小时（节省75%）。

四、展望

目前在实践中主要问题还是集中在PRD质量不高；需求解析中对视觉稿，交互稿等无法支持，以及需求过于复杂的状态下，使用效果不佳。后续计划在AI能力深入，AI全流程自动化继续尝试。

在未来，能够实现AI智能自主运行，独立完成需求分析，用例生成，脚本构造和执行，上报需求缺陷，跟进质量闭环等流程。基于人工智能的理解，记忆，规划等，为QA角色带来新的转变。

我们需要从“体力劳动型”测试向“脑力劳动型”测试转型，将繁琐重复的工作交给AI，让QA聚焦于更具挑战性的领域：业务风险识别、测试策略制定、探索性测试以及用户体验深挖。未来在一定程度跳出覆盖率-成本-速度的不可能三角，实现更高的覆盖率，更快的速度和更低的成本。

来源  |  阿里云开发者公众号

作者  |  珞兮