同一件后台操作——登录商城、新建一条热搜——在两个工具里被说成了两句话。
一处是"打开网页,输入账号密码验证码,登录,新建热搜",工具当场把操作做完。另一处是"生成 Python 代码,按 PO 模式拆结构,放进指定目录",工具留下一个能重复运行的工程。
业务是同一件,交付物完全不同。这个差别比工具选型重要得多,它决定了AI在你的测试体系里扮演什么角色。
一、本质是你要的是执行,还是资产
第一类交付是一次性操作。说完就做完,没有留下任何可重跑的东西。适合步骤固定、偶尔做一次的任务,比如整理一次文档、发一次通知。
第二类交付是工程。它必须能被别人 checkout、在另一台机器上跑、进 CI、页面改版后还能维护。接口自动化和 UI 自动化都属于这一类。
核心在于这两类东西的验收标准不一样。一次性操作只要"这次做成了"就算交付;工程要回答"下次还能不能跑、别人接手能不能看懂、需求变了改哪里"。
测试开发关心的是第二类。因为测试自动化的价值从来不在跑通一次,在能持续跑。生成速度再快,产出一个只能跑一次的脚本,等于没做。
原文的文档里有一句对比说得很准:WorkBuddy 里那段话是"调用已安装技能完成一次界面操作",CodeBuddy 里同一件事是"生成可维护的 Python 自动化工程"。工具把这两种意图分得很清楚,人要先把自己的意图想清楚。
二、提示词就是规格书
看原文那段接口自动化的提示词,它不是一个愿望清单,是一份规格。
基于接口文档设计自动化测试框架:
1、Python + requests + Pytest
2、测试数据用 YAML,多条用例用 DDT
3、执行后生成 Allure 报告
4、代码放在 qcd_auto 文件夹
每一条都对应框架里的一个具体决定。
约束 锁定的工程决定 不写会发生什么
Python + requests + Pytest 框架骨架:发请求、发现用例、断言、夹具 生成一堆散落脚本,没有统一入口
YAML 存数据,DDT 驱动 数据层与逻辑层分离 用例数据硬编码在函数里,改预期要改代码
Allure 报告 结果可观测,能看出每条用例的成败 只在终端翻日志,失败定位靠人肉读
固定目录 qcd_auto 工程边界与依赖隔离 和 UI 工程、其他实验混在一个目录
实际上这四条合起来,定义的就是一个测试工程该长什么样。语言、数据、报告、目录——四个维度把产物的形状定死了,AI 在这些边界里生成,出来的东西才可维护。
为什么必须前置。如果不写进初始提示词,生成之后再加,就要返工:报告要重新接,数据要重新抽,目录要重新挪。规格写在前面是一次成本,写在后面是反复成本。
解决了什么问题。它把"帮我写几个请求"这种模糊诉求,变成了有边界的工程任务。AI 擅长在明确的约束里生成,不擅长替你做架构决定。你把决定做了,它负责执行。
三、参数化和页面对象做的是同一件事
接口那节要求 YAML 加 DDT,UI 那节要求 PO 模式。看起来是两种手段,本质是同一个动作:把会变的东西从不变的东西里抽出去。
YAML 抽走的是测试数据。接口地址、请求体、期望状态码、期望字段从代码里移到数据文件,同一条测试逻辑配多组数据,DDT 展开成多条用例。改预期的时候改数据,不改测试函数。
PO 抽走的是页面元素和页面动作。用例只描述"登录、新建热搜"这个动作序列,选择器放在页面对象里。页面改版时改页面对象,用例本身不动。
核心在于变化的频率和位置。数据和页面是会频繁变的,测试逻辑相对稳定。把两者混在一起,任何变化都要动整个文件;分开之后,变化被限制在一层里。
这也是审查时的重点。原文要求检查"YAML 字段是否被真实读到"和"PO 分层是否真的分开了页面和用例"——因为 AI 可能生成出表面符合、实际没分层的代码:数据文件建了,但用例里还是硬编码;页面对象类建了,但用例里还直接写选择器。看结构要看到实际引用关系,不是看有没有那个文件。
四、先跑通,再谈持续跑
UI 那条提示词里有个容易被忽略的要求:用有头模式运行。
有头模式会打开可见浏览器。登录失败、验证码没填、表单没提交,能直接看到停在哪一步。无头模式适合以后进持续集成,但那条案例的目标是先确认流程真的走通。
这背后是一个分阶段的判断:先把"能跑"验证清楚,再谈"能持续跑"。
实际上这两个是不同问题。能跑验证的是测试逻辑对不对、业务流程通不通;能持续跑验证的是稳定性、可维护性、进 CI 后会不会飘。放在一起验证,失败的时候分不清是哪一类问题。
测试开发常犯的错是一上来就奔着 CI 去,脚本在流水线里红着,却不知道是流程本来就走不通,还是环境不稳定。有头模式把第一类问题先暴露掉,成本更低。
五、审查清单验的是语义,不是语法
两段提示词后面各跟了一组审查项。接口看四件事:请求是否对准文档、YAML 字段是否真被读到、失败用例在报告里是否可见、断言是否在验业务而不是只验状态码等于 200。
UI 也看四件事:选择器是否稳定、登录信息是否与提示词一致、新建热搜是否有断言而不只是点击、PO 分层是否真分开。
这八条没有一条在检查语法。语法错误 AI 自己能发现并修掉,真正要人看的是语义——生成的产物有没有实现你要测的那个业务。
核心在于 AI 会生成"看起来对"的代码。断言写 assert status_code == 200 是合法的、能跑的、看起来像测试的,但它只证明接口可达,不证明业务正确。 PO 类建出来了,但用例里还直接写选择器,分层是假分层。这些都不会报错,只有带着业务理解去读才能发现。
审查不通过的时候,原文给的做法值得保留:把具体的失败点和文件路径交回去让它修,不要自己从头手写一整套。AI 生成、人验收、具体问题回退修复——这个回路比"生成得不好干脆自己写"更有效率,也让每一轮生成都在已有产物上迭代。
六、人站在哪一段不会变
原文的文档里有一句判断,是整篇最该记住的:看不懂断言、定位和报告的人,无法完成最后一步。
它把三段分工说清楚了。前期由人做需求和设计——测什么、目录怎么放、什么框架、哪些数据参数化。中间由 AI 执行——生成框架、补用例、改定位、修它自己引入的缺陷。后期由人审查、校验,并对质量负责。
核心在于前段和后段都依赖同一批基本功。把需求说精确,需要知道测试工程有哪些组成部分;判断生成结果对不对,需要看得懂断言在验什么、选择器稳不稳、报告怎么读。工具把中间那段压缩了,前后两段没有。
这意味着"用 AI 做自动化"不是降低门槛,是改变门槛。会用提示词让工具生成框架,只是入门;能看出生成的框架里断言写浅了、数据没参数化、报告没接上,才是测试开发的价值所在。
招聘侧的变化也印证了这点。原文把贴近测试的 AI 岗位分成三类:传统测试技术加 AI 工具提效、测试 AI 应用本身、既开发又测试智能体。第一类要求接口和 UI 自动化仍是基本功,第三类要求会测智能体——会问"这个智能体会不会用错工具、会不会在不该改文件时改文件、失败能不能复现"。三类岗位的共同点是,判断力始终在人这边。
结尾
一边是当场做完,一边是留下工程。这个分野不在工具,在你说需求之前有没有想清楚交付物是什么、规格定没定。
你上一次让 AI 生成自动化测试,提示词里写的是"帮我写几个接口的用例",还是把语言、数据、报告、目录这些约束一次性说全了?
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。