Agent Skills + Playwright:打造会自己写 UI 自动化脚本的智能体

简介: 本文揭秘AI时代UI自动化新范式:告别硬编码脆弱脚本,用“侦察-执行”Agent技能重构测试稳定性。通过将定位规范(优先role/label)、等待策略、自愈流程写入可读Skill,让AI先看页面再写脚本,大幅降低因UI改版导致的用例失效。30分钟建规范,换来长期自愈力。

上个月,团队里一个做了4年UI自动化的同事找我吐槽。他维护着800多条Playwright用例,那天早上打开报告一看——237条失败了。原因很简单:开发推了一次“不影响功能”的提交,把一批按钮的data-testid统一了命名规范。

他改定位器改到凌晨,第二天跟我说了一句话:“脚本写了这么多,为什么还是这么脆弱?”

我说:“因为你的定位规范、等待策略、踩过的坑,全部锁死在硬编码的代码里。AI读不懂,你也改不动。”

他问:“那怎么办?”

我说:“把那些规范抽出来,写成Agent能读懂的东西。让Agent带着规范去写脚本,而不是从零开始猜。”

一、先搞清楚:为什么AI写UI脚本总是“翻车”?
很多人第一次用AI生成Playwright脚本,会踩同一个坑:AI在猜页面。

你给它一段自然语言描述——“打开登录页,输入账号密码,点击登录,验证跳转到首页”——它会自信地写出一串page.click('button.login-btn')。跑起来大概率报错,因为页面上根本没有login-btn这个类名。

AI写的UI自动化,最危险的不是语法错误,是“想当然” 。它会编出不存在的选择器,会误判页面加载顺序,会用waitForTimeout硬等。这些错误在代码评审时看不出来,在CI上跑起来才暴露。

根本原因只有一个:AI没有先“看”页面,就开始“写”操作了。

二、核心思路:让Agent先侦察,再执行
Anthropic官方的webapp-testing Skill里,有一个设计叫 Reconnaissance-Then-Action。翻译成人话就是:别着急点,先看看页面到底长什么样。

传统UI自动化是:测试工程师理解页面→找元素→设计步骤→写Playwright→机器执行。

Agent+Skill的方式是:测试工程师定义目标→Agent理解页面→Agent找元素→Agent决定操作→Playwright执行→Agent判断结果。

人的职责从“把每一步写出来”,转向“告诉Agent我要验证什么”。这个变化,比生成几行Playwright代码重要得多。

三、手把手:搭一个“会自己写脚本”的UI测试Skill
第一步:搭目录结构
.claude/skills/ui-test-skill/
├── SKILL.md ← 核心指令
├── references/
│ ├── locator-rules.md ← 定位器规范
│ └── waiting-rules.md ← 等待策略规范
└── scripts/
└── snapshot.py ← 页面快照工具

第二步:写SKILL.md的头信息

name: ui-test-skill
description: 基于Playwright的UI自动化测试技能。当用户需要新增UI测试用例、修复定位器失效、调试页面交互时触发。关键词:UI自动化、Playwright、元素定位、定位失效、脚本报错。
when_to_use: 用户需要为Web应用生成或维护Playwright UI自动化测试时使用。

allowed-tools: Bash, Read, Write, Edit

第三步:写SKILL.md的正文——这是核心
正文最关键的设计是元素定位规范和先侦察再执行的流程。

腾讯云社区一篇讲“自愈性Skill”的文章里,给了很清晰的定位优先级设计。我把这套规范直接写进了SKILL.md:

元素定位规范(严格按优先级执行)

  1. getByRole — 首选。基于无障碍角色,UI重构不影响,匹配用户意图
  2. getByLabel — 次选。表单字段的标签,相对稳定
  3. getByText — 可见文本内容,仅用于文本本身是业务语义的场景
  4. getByTestId — 语义定位不够用时的兜底
  5. ❌ 禁用 XPath — 与DOM结构深度耦合,结构变更必崩
  6. ❌ 禁用 CSS class — 与样式系统耦合,UI重构时第一个失效

原因:我们在2024年经历两次UI大版本重构,
每次XPath和CSS class定位器的失效率超过60%,
而语义定位器的失效率接近0。
然后是执行流程:

执行流程

步骤1:侦察页面(必须执行,不可跳过)

在编写任何操作代码之前,先运行:
python scripts/snapshot.py <目标URL>

脚本会输出当前页面的可交互元素列表,包含每个元素的 role、name、以及推荐的定位器。

步骤2:基于快照编写操作

根据快照中实际存在的元素,选择定位策略。
禁止凭经验猜测选择器。

步骤3:执行与验证

运行脚本。如果失败:

  • 重新 snapshot,检查元素是否存在
  • 如果元素存在但定位失败,切换下一优先级定位策略
  • 如果元素不存在,报告页面结构可能已变化

步骤4:输出证据

每次执行后,截图保存到 screenshots/ 目录,并将 Console 日志和 Network 请求写入日志文件。
这个流程的核心是步骤1。 它强制Agent在写任何操作之前,先“看”一眼页面。这一步看起来多余,但它把AI从“猜页面”变成了“看页面”,失败率断崖式下降。

第四步:用references放定位和等待规范
references/locator-rules.md里放详细的定位策略说明和示例。

references/waiting-rules.md里放等待策略规范:

等待策略

  1. 优先使用 Playwright 的自动等待(actionability checks)
  2. 需要显式等待时,用 web-first assertions:
    await expect(page.getByRole('button', { name: '提交' })).toBeVisible()
  3. 等待网络请求完成:page.waitForLoadState('networkidle')
  4. ❌ 禁用 waitForTimeout — 硬编码等待是Flaky Test的最大来源

四、一个真实的“自愈”场景

Skill写好了,Agent怎么“自己修”脚本?

假设页面上有一个“提交订单”按钮,原来的定位器是getByTestId('submit-order')。开发改版后,data-testid变了,脚本报错element not found。

没有Skill的Agent:重新生成一段脚本,可能换了一个同样不稳定的CSS selector,或者编一个不存在的getByText('提交订单')——但如果页面上按钮文案是“确认下单”,就再次失败。

有Skill的Agent:

  1. 先运行snapshot.py,获取当前页面的可交互元素列表
  2. 在快照中找到“提交订单”对应的元素,发现它的role=button,name=“确认下单”
  3. 参照Skill里的定位优先级,getByRole是第一优先级
  4. 把定位器改为page.getByRole('button', { name: '确认下单' })
  5. 重新执行,通过

这就是“自愈”的本质——不是脚本自己会修,是Agent带着规范重新生成,而不是从零猜。

五、进阶:用社区现成的Skill起步

如果你不想从零写,社区已经有大量现成的Playwright Skill可以直接用。

微软官方的@playwright/cli提供了Skill安装命令:

```bash
playwright-cli install --skills
这会把Playwright Skill注册到Claude Code的Skill目录,Agent下次启动就能自动发现。

tektite-io/playwright-skill是一个通用型的Playwright自动化Skill,支持Agent自主编写和执行Playwright脚本,从简单页面测试到复杂多步流程都能覆盖。安装方式:

npx skills add lackeyjb/playwright-skill --skill playwright-skill --global --yes
wico-playwright-agent-skills提供了一条命令脚手架,把playwright-e2e Skill直接注入项目,同时支持Claude Code、Cursor、GitHub Copilot。

关键原则:先装社区Skill跑通流程,再根据自己的业务规范定制。

六、避坑指南
坑一:让Agent直接写脚本,不先侦察页面。 这是最大的坑。AI会自信地编出不存在的选择器。SKILL.md里必须强制要求“先snapshot,再操作”。

坑二:SKILL.md写成Playwright API手册。 不要教Agent page.click()怎么用,它本来就会。你要教的是你的项目里该用哪些定位器、该避免什么、失败了怎么处理。这些是AI不知道的。

坑三:忽略定位规范。 如果不告诉Agent“禁用XPath”,它一定会用。把定位优先级写进Skill,是脚本稳定性的第一道防线。

坑四:把自愈当万能药。 自愈有一个崩溃不具备的失败模式——它可以把一个真实的回归变成一个通过的测试。如果定位器“修”到了一个语义完全不同的元素上,测试会通过,但Bug被掩盖了。自愈操作必须记录完整日志,人工定期审查。

坑五:执行层交给模型随便控制。 AI应该出现在拆解层、分析层和自愈逻辑中,但执行层要保持确定性。浏览器操作是高风险动作,不能每一步都由模型来控制。Agent决定“做什么”,Playwright负责“怎么做”。

最后
传统UI自动化的核心是“写脚本”。Agent时代UI自动化的核心是“定义规范”。

你把定位优先级、等待策略、失败处理规则写进Skill,Agent每次写脚本都会参照这份规范。它不会用XPath,因为它知道XPath必崩。它会优先用getByRole,因为它知道这是最稳定的定位方式。

你不需要再手写第N版Playwright脚本了。你只需要把规范固化下来,让Agent照着写。

下次你面对一个UI频繁改版的项目,别打开编辑器了。先花30分钟写一个UI测试Skill,把定位规范和执行流程写清楚。

30分钟的投入,换的是未来每一次UI改版时,脚本不再集体崩溃。

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

相关文章
|
2月前
|
人工智能 测试技术
公司从零开始推自动化测试,如何落地?
本文深度剖析团队自动化转型的底层逻辑:指出失败主因常是目标错位与管理缺位,而非技术本身。强调“三分技术、七分管理”,主张先对齐业务目标、小步试点、建立闭环与规范,并结合AI提效——但须严控生成质量与维护闭环。核心是将自动化打造成可持续演进的测试资产。
306 1
公司从零开始推自动化测试,如何落地?
|
2月前
|
人工智能 Linux 开发者
【2026国内使用】Codex安装过程一篇讲透(Win/Mac/Linux全支持)
Codex是OpenAI推出的AI编程智能体,可读取本地项目、理解需求并自动修改代码。支持桌面GUI、命令行(CLI)及VS Code/Cursor插件三种形态,覆盖可视化操作、终端高效开发与编辑器无缝集成场景,助开发者用自然语言驱动编码全流程。(239字)
2666 3
【2026国内使用】Codex安装过程一篇讲透(Win/Mac/Linux全支持)
|
27天前
|
人工智能 测试技术 定位技术
用 Agent Skills 重构测试流程:从用例生成到缺陷定位
本文介绍如何用Agent Skills重构支付网关回归测试流程:将传统断点式人工流程(需求→用例→执行→排查→Bug)拆解为四大可复用能力单元——需求拆解、用例生成、失败归因、缺陷定位,并通过CI流水线自动串联。实测周期从5天压缩至1.5天,关键在于把隐性经验封装为标准化、可复用、可验证的AI技能,实现“人只做最终判断”。
|
6月前
|
设计模式 人工智能 测试技术
万字长文:如何用 harness 的理念设计一个 AI 驱动的 UI 自动化工程。
Harness 是一种多 Agent 协作的设计模式,用“马具”比喻为 AI 工作流装上角色边界、状态机、产物契约与护栏规则四重约束,解决单 Agent 易跑偏、跳步、越权等问题。本文以 UI 自动化测试为例,手把手教你从零设计总控层、编写三类 Agent Prompt,并实现稳定可靠的 AI 测试生成闭环。
|
23天前
|
SQL 人工智能 JSON
淘宝 AI 购物助手:基于 LLM-as-a-Judge 的在线评测与质量归因实践
淘宝技术为AI购物助手构建了基于LLM-as-a-Judge的在线自动评测体系,通过生产会话清洗、分布式批量推理、六层Rubric标准及人工校准,实现购后服务多业务域的日级质量监控与故障归因,推动Agent质量持续改进。
|
29天前
|
机器学习/深度学习 人工智能 测试技术
Agent 评测:从短程问答到长程任务,测试方法发生了什么变化?
本文从软件测试工程视角系统解析Agent评测:指出其核心已从“回答好不好”转向“任务能否稳定完成”,详解Trace追踪、Trajectory评估、短/长程Agent差异、Skill测试、沙箱环境及评测平台建设,强调将AI系统当作可测、可观、可回归的软件工程来构建质量体系。
|
2月前
|
人工智能 缓存 Java
2026年美团职级薪资:测试开发L5—L10能拿多少?附AI测试社招面试题
本文解析2026年美团测试开发社招趋势:L5-L10年包44万–419万,股权占比随职级显著提升;能力要求已从传统自动化进阶为“基本功+AI测试”,涵盖Agent评测、大模型UI测试、AI Coding质量保障等实战方向,并附薪资、职级、面试与技能树全景指南。
|
2月前
|
人工智能 JavaScript 开发工具
DeepSeek Harness完整实操教程:开源Agent运行框架本地部署、模式选型与插件开发指南
DeepSeek Harness把大模型从单纯对话,推向真实本地环境执行任务,依托Cordis插件架构实现组件完全可替换,给Agent开发者提供了一套能力强大的开源底座。整套工具的使用流程可以概括为:准备适配版本Node.js环境,通过npx一行命令快速拉起Web界面,配置模型密钥或者对接Ollama本地模型,选择隔离的工作目录,根据任务选择合适运行模式,下发指令观察Agent完整执行轨迹。
2251 3
|
23天前
|
人工智能 Oracle 安全
微软拆解 Spec-Driven Development:AI 生成代码后,测试为何丢失原有验收标准
本文探讨AI编码时代如何防止“同源共错”:当Coding Agent自动生成规格、代码与测试时,可能一致偏离业务本质。提出三重防护——固化不可协商业务事实、将真值置于Agent控制之外、分层可追溯的规格链,并通过变异测试、独立oracle与门禁矩阵确保规格不被悄悄改写。
|
2月前
|
人工智能 搜索推荐 架构师
2026测试人自救指南:把AI变成你的第二个测试搭子
这不是让AI替你干活,而是为你配备一位24小时在线、懂业务、会协作的“测试搭子”。它不替代判断力,而是帮你高效生成用例、分析失败、补全场景——关键在于换种方式“说话”:给足背景、约束、范围和格式。你负责深度决策,AI负责广度执行。