AI 生成自动化测试:先定规格,再谈生成

简介: 本文剖析AI生成自动化测试的两类交付本质:一次性操作 vs. 可维护工程。强调测试开发的核心是“持续可运行”的资产,而非单次执行;提示词即规格书,需前置定义语言、数据、报告、目录等工程要素;参数化与PO模式本质都是分离易变与稳定部分;审查重在语义正确性(如断言是否验业务),而非语法;人始终承担需求定义与质量终审责任。

同一件后台操作——登录商城、新建一条热搜——在两个工具里被说成了两句话。

一处是"打开网页,输入账号密码验证码,登录,新建热搜",工具当场把操作做完。另一处是"生成 Python 代码,按 PO 模式拆结构,放进指定目录",工具留下一个能重复运行的工程。

业务是同一件,交付物完全不同。这个差别比工具选型重要得多,它决定了AI在你的测试体系里扮演什么角色。

一、本质是你要的是执行,还是资产
第一类交付是一次性操作。说完就做完,没有留下任何可重跑的东西。适合步骤固定、偶尔做一次的任务,比如整理一次文档、发一次通知。

第二类交付是工程。它必须能被别人 checkout、在另一台机器上跑、进 CI、页面改版后还能维护。接口自动化和 UI 自动化都属于这一类。

核心在于这两类东西的验收标准不一样。一次性操作只要"这次做成了"就算交付;工程要回答"下次还能不能跑、别人接手能不能看懂、需求变了改哪里"。

测试开发关心的是第二类。因为测试自动化的价值从来不在跑通一次,在能持续跑。生成速度再快,产出一个只能跑一次的脚本,等于没做。

原文的文档里有一句对比说得很准:WorkBuddy 里那段话是"调用已安装技能完成一次界面操作",CodeBuddy 里同一件事是"生成可维护的 Python 自动化工程"。工具把这两种意图分得很清楚,人要先把自己的意图想清楚。

二、提示词就是规格书
看原文那段接口自动化的提示词,它不是一个愿望清单,是一份规格。

基于接口文档设计自动化测试框架:
1、Python + requests + Pytest
2、测试数据用 YAML,多条用例用 DDT
3、执行后生成 Allure 报告
4、代码放在 qcd_auto 文件夹
每一条都对应框架里的一个具体决定。

约束 锁定的工程决定 不写会发生什么
Python + requests + Pytest 框架骨架:发请求、发现用例、断言、夹具 生成一堆散落脚本,没有统一入口
YAML 存数据,DDT 驱动 数据层与逻辑层分离 用例数据硬编码在函数里,改预期要改代码
Allure 报告 结果可观测,能看出每条用例的成败 只在终端翻日志,失败定位靠人肉读
固定目录 qcd_auto 工程边界与依赖隔离 和 UI 工程、其他实验混在一个目录
实际上这四条合起来,定义的就是一个测试工程该长什么样。语言、数据、报告、目录——四个维度把产物的形状定死了,AI 在这些边界里生成,出来的东西才可维护。

为什么必须前置。如果不写进初始提示词,生成之后再加,就要返工:报告要重新接,数据要重新抽,目录要重新挪。规格写在前面是一次成本,写在后面是反复成本。

解决了什么问题。它把"帮我写几个请求"这种模糊诉求,变成了有边界的工程任务。AI 擅长在明确的约束里生成,不擅长替你做架构决定。你把决定做了,它负责执行。

三、参数化和页面对象做的是同一件事
接口那节要求 YAML 加 DDT,UI 那节要求 PO 模式。看起来是两种手段,本质是同一个动作:把会变的东西从不变的东西里抽出去。

YAML 抽走的是测试数据。接口地址、请求体、期望状态码、期望字段从代码里移到数据文件,同一条测试逻辑配多组数据,DDT 展开成多条用例。改预期的时候改数据,不改测试函数。

PO 抽走的是页面元素和页面动作。用例只描述"登录、新建热搜"这个动作序列,选择器放在页面对象里。页面改版时改页面对象,用例本身不动。

核心在于变化的频率和位置。数据和页面是会频繁变的,测试逻辑相对稳定。把两者混在一起,任何变化都要动整个文件;分开之后,变化被限制在一层里。

这也是审查时的重点。原文要求检查"YAML 字段是否被真实读到"和"PO 分层是否真的分开了页面和用例"——因为 AI 可能生成出表面符合、实际没分层的代码:数据文件建了,但用例里还是硬编码;页面对象类建了,但用例里还直接写选择器。看结构要看到实际引用关系,不是看有没有那个文件。

四、先跑通,再谈持续跑
UI 那条提示词里有个容易被忽略的要求:用有头模式运行。

有头模式会打开可见浏览器。登录失败、验证码没填、表单没提交,能直接看到停在哪一步。无头模式适合以后进持续集成,但那条案例的目标是先确认流程真的走通。

这背后是一个分阶段的判断:先把"能跑"验证清楚,再谈"能持续跑"。

实际上这两个是不同问题。能跑验证的是测试逻辑对不对、业务流程通不通;能持续跑验证的是稳定性、可维护性、进 CI 后会不会飘。放在一起验证,失败的时候分不清是哪一类问题。

测试开发常犯的错是一上来就奔着 CI 去,脚本在流水线里红着,却不知道是流程本来就走不通,还是环境不稳定。有头模式把第一类问题先暴露掉,成本更低。

五、审查清单验的是语义,不是语法
两段提示词后面各跟了一组审查项。接口看四件事:请求是否对准文档、YAML 字段是否真被读到、失败用例在报告里是否可见、断言是否在验业务而不是只验状态码等于 200。

UI 也看四件事:选择器是否稳定、登录信息是否与提示词一致、新建热搜是否有断言而不只是点击、PO 分层是否真分开。

这八条没有一条在检查语法。语法错误 AI 自己能发现并修掉,真正要人看的是语义——生成的产物有没有实现你要测的那个业务。

核心在于 AI 会生成"看起来对"的代码。断言写 assert status_code == 200 是合法的、能跑的、看起来像测试的,但它只证明接口可达,不证明业务正确。 PO 类建出来了,但用例里还直接写选择器,分层是假分层。这些都不会报错,只有带着业务理解去读才能发现。

审查不通过的时候,原文给的做法值得保留:把具体的失败点和文件路径交回去让它修,不要自己从头手写一整套。AI 生成、人验收、具体问题回退修复——这个回路比"生成得不好干脆自己写"更有效率,也让每一轮生成都在已有产物上迭代。

六、人站在哪一段不会变
原文的文档里有一句判断,是整篇最该记住的:看不懂断言、定位和报告的人,无法完成最后一步。

它把三段分工说清楚了。前期由人做需求和设计——测什么、目录怎么放、什么框架、哪些数据参数化。中间由 AI 执行——生成框架、补用例、改定位、修它自己引入的缺陷。后期由人审查、校验,并对质量负责。

核心在于前段和后段都依赖同一批基本功。把需求说精确,需要知道测试工程有哪些组成部分;判断生成结果对不对,需要看得懂断言在验什么、选择器稳不稳、报告怎么读。工具把中间那段压缩了,前后两段没有。

这意味着"用 AI 做自动化"不是降低门槛,是改变门槛。会用提示词让工具生成框架,只是入门;能看出生成的框架里断言写浅了、数据没参数化、报告没接上,才是测试开发的价值所在。

招聘侧的变化也印证了这点。原文把贴近测试的 AI 岗位分成三类:传统测试技术加 AI 工具提效、测试 AI 应用本身、既开发又测试智能体。第一类要求接口和 UI 自动化仍是基本功,第三类要求会测智能体——会问"这个智能体会不会用错工具、会不会在不该改文件时改文件、失败能不能复现"。三类岗位的共同点是,判断力始终在人这边。

结尾
一边是当场做完,一边是留下工程。这个分野不在工具,在你说需求之前有没有想清楚交付物是什么、规格定没定。

你上一次让 AI 生成自动化测试,提示词里写的是"帮我写几个接口的用例",还是把语言、数据、报告、目录这些约束一次性说全了?

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

相关文章
|
5天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
5672 13
|
5天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2126 7
|
7天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
7天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
20天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
9820 59
|
3天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
15天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
3343 9
|
21天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
6032 69
|
3天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
965 0