自动化测试烂掉,很少是因为用例写得不够快。
更常见的原因是结构:脚本和页面强绑定,用例之间共享状态,断言只看页面没报错,覆盖率靠堆边缘场景凑数。
这类问题不会因为生成速度变快而消失。恰恰相反,生成越快,坏结构复制得越广。
AI 在这件事里的位置是杠杆,不是主体。它能把一套架构思想快速铺开,但前提是那套思想本身成立。
一、先定位失效发生在哪一层
把自动化测试的失效模式摊开,能看到两个维度。
维度 典型失效 本质
代码层 脚本绑死 DOM,前端改个 class 就批量失败 关注点没有分离
代码层 用例共享数据库或 Session,执行顺序一变就大面积失败 状态没有隔离
业务层 只断言"页面没报错""元素存在" 断言没有对准数据流
业务层 为凑覆盖率生成大量低价值用例,CI 越跑越慢 反馈速度被牺牲
本质上,前两类是架构问题,后两类是测试策略问题。
架构问题让套件脆弱,策略问题让套件无效。前者是跑不稳,后者是跑了也白跑。两者叠加,就是死亡螺旋。
核心在于分清这两类。改定位器解决不了断言无效,补断言也救不了状态污染。不同层的病,药不能混用。
二、四层架构:每层只做一件事
健壮的自动化工程需要像微服务一样做关注点分离。经典做法是四层。
层 职责 不做什么
测试用例层 业务剧本、数据驱动、断言逻辑 不碰 DOM 定位
页面对象层 POM DOM 交互,做 UI 变更的防波堤 不放业务断言
基础设施层 API 造数据、DB 清理、鉴权复用 不写业务流程
驱动引擎层 执行框架与 AI 能力 不承载业务规则
分层的意义不是好看,是让变更有边界。前端换了组件,只动 POM;业务规则变了,只动用例层。一个改动不穿透三层,维护成本才可控。
POM 这一层的定位容易被做错。它应该是 UI 变更的防波堤,不是代码的搬运工。
生成 Page 类时有几条硬约束,值得写进规范。
定位器优先级固定:data-testid 优先,其次 role,再次 text,不用带层级关系的 XPath。层级路径一变,整条链全断。
职责单一:Page 类只负责定位元素和执行操作,断言留在用例层。如果在 Page 里写业务断言,别的业务复用这个页面时就会撞上不相关的判断。
异步封装:涉及网络请求的点击,把等待逻辑封进方法,不散落到调用方。
这些都是工程判断,不是风格偏好。它们约束的是未来的改动成本。
三、状态隔离:让每条用例自带上下文
Flaky Test 的重灾区是用例之间共享状态。A 留下的脏数据让 B 失败,重跑一次又好了,问题被当成偶发。
核心在于无状态设计。每条用例要有独立的数据上下文,不依赖前序用例,也不给后续用例留痕。
做法上用一套混合模式。登录态通过 conftest 里的 fixture 注入,不在每个用例里重复走 UI 登录。前置数据通过 API 在 Setup 阶段构造,Teardown 阶段再通过 API 清理。参数化驱动测试数据,不硬编码。
为什么用 API 造数据而不是 UI 一步步点。因为 UI 路径长、慢、且本身可能坏。用 UI 准备数据,等于把被测对象当成测试前提,前提一坏,所有用例跟着红。
断言也要跟着改。除了 UI 提示语,还要校验关键后端接口的 Response。加入购物车之后,库存有没有真的扣减,这才是业务事实。页面提示"成功"只是表象。
实际上,"UI 操作 + API 造数据 + API 清理"这套模式解决的是用例独立性。它把每条用例变成一个闭环,执行顺序不再影响结果。
四、场景分层:别把所有用例堆在 UI 层
需求评审最容易漏掉异常分支。等线上暴露,已经是漏测。
把业务规则整理成结构化场景矩阵,能让覆盖维度显式化。主链路、异常分支、边界条件,分开列。
关键是给每个场景标自动化层级。库存扣减逻辑放 API 层,按钮交互状态放 UI 层,接口约定放契约层。
本质是测试金字塔的分布问题。UI 用例最贵、最慢、最脆,不该承担全部验证。把业务判断下沉到 API 层,套件的执行效率和稳定性都会改善。
这一步适合让 AI 做初稿。给它需求和分层规则,它按等价类、边界值输出场景列表,人再核对哪些业务分支它没理解到。
五、诊断能力:把排查经验做成流程
CI 报红,查半天发现是网络波动或环境问题,这类时间花得最冤。
可观测性要解决的是让失败原因透明。把人工排查路径写成固定流程:先读报错,再判断是定位器失效、网络超时还是后端异常,定位器问题就查元素是否更新,环境问题就给等待或重试建议。
AI 在这里的价值是快速关联错误信息和常见原因,缩短定位路径。修复决策仍然要人确认,尤其是定位器改动,工具不知道这次改动的业务影响。
把这套流程沉淀下来,是为了让排查不依赖某个人是否在场。
六、规范即资产:把踩过的坑写成规则
团队层面真正值钱的,不是某个人写得好,是踩过的坑变成所有人共享的约束。
把架构规范写成规则文件,让生成环节直接遵循。强制项写清楚:Test 层和 Page 层物理隔离,测试数据通过 Fixture 动态构造,登录态统一序列化复用。
红线单独标:禁止硬编码等待,禁止 time.sleep,优先用框架自带的智能等待。核心链路的 UI 校验要辅以 API 响应双重确认。
为什么要把规范写成文件而不是靠口头传达。因为口头规范不会随代码生成生效。写进规则文件,每次生成都会带上这些约束,新人也不用先摸索半年。
这份文件是团队的技术资产。它的价值随使用次数增长,不随人员流动流失。
七、三条边界要守住
AI 生成能力强,但有三类风险必须明确。
AI 幻觉。 可能生成不存在的接口,或者逻辑上不成立的断言。对策是坚持人工 Review 断言和业务语义。生成效率可以交给工具,质量底线要人把。
覆盖率虚荣。 生成速度上来之后,低价值用例会迅速堆积,CI 越跑越慢,快速反馈的意义没了。对策是引入变更影响分析,只跑和本次改动相关的用例,全量回归留给周期性构建。
过度设计。 把所有页面都建成完整 POM,写个简单用例也要一堆文件,成本反而高了。对策是分级投入:核心稳定链路做架构化建设,生命周期短的营销页允许脚本化快速验证。
这三条边界的共同点是:工具给的是候选,判断要人来。生成得多不等于测得准,架构全不等于投入值。
结尾
引入 AI 工具之后,分工线会移动。
DOM 解析、代码生成、初步诊断这些动作,工具能承接,做得比人快。留给人的是另外几件事:定义什么算有效断言,决定哪些链路值得架构化投入,判断一次失败是产品缺陷还是测试自身的问题。
工具把写脚本的成本压低了。架构判断和策略取舍的成本没有降,反而因为生成量的放大变得更关键。
自动化测试的瓶颈从来不在敲代码的手,在于有没有人把关注点分离、状态隔离和业务断言这些判断,先设计清楚再交给工具去铺。
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。