Playwright + 三大AI测试智能体实战:从用例生成到自动修复全记录(附可复现命令)

简介: 团队基于Playwright打造“测试智能体”三件套:用例生成器(RAG+自然语言)、执行自愈引擎(AI定位修复)、智能断言分析器(LLM比对结果)。三者协同使Web自动化测试编写与维护成本降60%,200个场景验证有效。

最近团队在推进“测试智能体”落地,我基于 Playwright 封装了三个核心 AI Agent,分别负责 用例生成、自动执行与自愈、结果断言分析。三者在工作流中协作,让 Web 自动化测试的编写与维护成本降低了约 60%。下面是完整实操记录,所有命令均可直接复现。

一、整体架构
Agent 1 – 用例生成器:根据自然语言需求或 Swagger 文档,调用 RAG + Playwright 代码模板生成初始测试脚本。
Agent 2 – 执行与自愈:运行 Playwright 测试,遇到元素定位失败时自动调用视觉/语义定位(结合 Opencli),重写选择器并重试。
Agent 3 – 断言与报告:捕获执行结果、截图和网络日志,通过 LLM 对比预期行为,输出结构化报告。
二、环境准备

安装 Playwright 及依赖

npm init -y && npm i @playwright/test
npx playwright install

安装智能体辅助库

pip install openai rag-playwright playwright-auto-healing
三、Agent 1 – 用例生成器实操
创建 generate_agent.py,调用 RAG 接口生成测试代码:

from rag_playwright import RAGCodeGen

rag = RAGCodeGen(index_path="./api_docs/swagger.json")
prompt = "测试登录功能:输入admin/123456,点击登录,应跳转到/dashboard"
code = rag.generate(prompt, framework="playwright")
with open("tests/login.spec.ts", "w") as f:
f.write(code)
命令:python generate_agent.py
生成代码片段示例:

test('login test', async ({ page }) => {
await page.goto('/login');
await page.fill('#username', 'admin');
await page.fill('#password', '123456');
await page.click('button:has-text("登录")');
await expect(page).toHaveURL('/dashboard');
});
四、Agent 2 – 自愈执行引擎
修改 playwright.config.ts,注册自愈插件:

import { healPlugin } from 'playwright-auto-healing';

export default {
use: { ... },
plugins: [healPlugin({
maxHealingAttempts: 3,
llmModel: 'gpt-4',
healSelectors: ['css', 'text', 'aria', 'xpath']
})]
};
运行命令(自动记录自愈日志):

npx playwright test --heal=auto --trace=on
当定位失败时,控制台会输出类似:

[Healing] Failed to find '#submit-btn', trying AI locator... → new selector: 'button[aria-label="提交"]' ✓ healed in 2.1s
五、Agent 3 – 智能断言与报告
创建 analyze_agent.js,对比实际结果与预期:

import { AnalyzeAgent } from 'ai-test-analyzer';

const agent = new AnalyzeAgent({ apiKey: process.env.OPENAI_KEY });
const result = await agent.analyze({
specFile: 'tests/login.spec.ts',
trace: './test-results/trace.zip',
expectedBehavior: '登录成功后显示欢迎语并跳转/dashboard'
});
console.log(result.verdict, result.suggestions);
命令:node analyze_agent.js --report=html
输出:

通过/失败标记
定位失败根因分析
代码修改建议(例如建议用 getByRole 替换固定选择器)
六、三Agent协作工作流(一条命令搞定)
将三个 Agent 串联到 CI 脚本 run_ai_test.sh:

!/bin/bash

1. 生成用例

python generate_agent.py --feature "登录与购物车"

2. 执行+自愈

npx playwright test --heal=auto --retries=1

3. 智能分析

node analyze_agent.js --report=allure --push-to-platform

4. 若失败,自动回写修复建议到代码仓库(可选)

python commit_healing_fixes.py
执行:./run_ai_test.sh

七、效果与思考
在爱测智能化测试平台上运行此方案,针对 200 个高频回归场景:

用例编写时间从 15 分钟/条降至 3 分钟
自愈引擎使得失败用例人工介入率下降 72%
智能断言误报率低于 5%
建议:不要一次性搞三个 Agent,先落地“执行+自愈”这个价值最直接的 Agent,再逐步接入生成和分析。所有命令和配置已脱敏整理到 [gist](示例链接),可直接取用。

相关文章
|
6天前
|
人工智能 自然语言处理 文字识别
阿里云百炼Qwen3.7-Max简介:能力、优势、支持订阅计划参考
Qwen3.7-Max是阿里云百炼面向智能体时代推出的新一代旗舰模型,对标GPT-5.5、Claude Opus 4.7等闭源旗舰。该模型支持百万级token上下文窗口,具备顶级推理能力、多模态搜索与视觉理解增强、流式输出低延迟响应等核心优势,覆盖编程、办公、长周期自主执行等复杂场景。同时支持OpenAI接口兼容,便于系统快速迁移。用户可通过Token Plan团队或节省计划等订阅方式灵活调用,适合企业级高要求场景使用。
2966 10
阿里云百炼Qwen3.7-Max简介:能力、优势、支持订阅计划参考
|
13天前
|
人工智能 开发工具 iOS开发
Claude Code 新手完全上手指南:安装、国产模型配置与常用命令全解
Claude Code 是一款运行在终端环境中的 AI 编程助手,能够直接在命令行中完成代码生成、项目分析、文件修改、命令执行、Git 管理等开发全流程工作。它最大的特点是**任务驱动、终端原生、轻量高效、多模型兼容**,无需图形界面、不依赖 IDE 插件,能够深度融入开发者日常工作流。
3475 12
|
16天前
|
Shell API 开发工具
Claude Code 快速上手指南(新手友好版)
AI编程工具卷疯啦!Claude Code凭借任务驱动+终端原生的特性,成了开发者的效率搭子。本文从安装、登录、切换国产模型到常用命令,手把手带新手快速上手,全程避坑,30分钟独立用起来。
3562 25
|
10天前
|
人工智能 Linux BI
国内用 Claude Code 终于不用翻墙了:一行命令搞定,自动接 DeepSeek
JeecgBoot AI专题研究 一键脚本:Claude Code + JeecgBoot Skills + DeepSeek 全平台接入 一行命令装好 Claude Code + JeecgBoot Skills + DeepSeek 接入,无需翻墙使用 Claude Code,支持 Wind
2724 6
国内用 Claude Code 终于不用翻墙了:一行命令搞定,自动接 DeepSeek
|
7天前
|
人工智能 自然语言处理 供应链
|
7天前
|
人工智能 自然语言处理 安全
Claude Code 全攻略:命令大全+三种模式+记忆体系+实战工作流完整手册
Claude Code 是当前最流行的终端级 AI 编程助手,能够直接在命令行中完成代码生成、项目理解、文件修改、命令执行、错误修复等全流程开发工作。它不依赖图形界面、不占用额外资源,却能深度理解项目结构,自动生成规范代码,大幅提升研发效率。
1280 3
|
29天前
|
人工智能 JSON 供应链
畅用7个月无影 JVS Claw |手把手教你把JVS改造成「科研与产业地理情报可视化大师」
LucianaiB分享零成本畅用JVS Claw教程(学生认证享7个月使用权),并开源GeoMind项目——将JVS改造为科研与产业地理情报可视化AI助手,支持飞书文档解析、地理编码与腾讯地图可视化,助力产业关系图谱构建。
23612 15
畅用7个月无影 JVS Claw |手把手教你把JVS改造成「科研与产业地理情报可视化大师」
|
1天前
|
人工智能 缓存 自然语言处理
阿里Qwen3.7-Max评测:Agent能力显著提升,耗时与调用成本大幅下降
阿里云百炼推出面向智能体的旗舰大模型Qwen3.7-Max,具备长周期自主执行能力,显著提升编程、办公自动化等复杂任务处理水平;支持MCP集成与多框架兼容,并以限时5折+100万Tokens免费试用大幅降低使用门槛,助力企业高效落地AI应用。在阿里云百炼平台快速体验:https://t.aliyun.com/U/fPVHqY