UI自动化测试提效必备Skill!一套CI流水线编排 Skill 可以直接抄了...

简介: 本文介绍 `ui-pipeline-scheduler`——UI自动化测试全链路编排技能。它将执行、诊断、重试、合并、报告五阶段自动串联,实现“一键启动、条件触发、熔断兜底、结果不丢”,解决人工串调、时机难判、死循环、数据失真等痛点,让测试人员从“操盘手”升级为“决策者”。

大家好,我是狂师。

前三篇,我们把 UI 自动化的三个环节逐个交给了 AI。「跑测试」有了 ui-test-executor,「修脚本」有了 ui-failure-diagnoser,「出报告」有了 ui-report-generator

每个环节单拎出来都能打。但真用起来,你会发现一个新的问题。

跑一轮完整测试,你得先调用一次执行技能,跑完看一眼结果,再调用一次报错修复诊断技能,修完再重跑一次执行技能,最后再调用报告生成技能。一条链,人要调用四次 AI,中间还得自己判断衔接时机。

活是 AI 干的,链子是人串的。人的注意力,还是要被拴在这条链上。

写在前面

这个系列一直在做一件事,用 Agent Skill 把 UI 自动化测试的各个环节逐个自动化。

到上一篇为止,环节级的 Skill 都齐了。执行有证据,失败有结论,报告有判断,单点能力全部到位。

缺的是一个把它们串起来的东西。什么时候执行、失败了要不要诊断、修完要不要重跑、重跑几轮、结果怎么算,这些环节之间的决策,之前都靠人临场判断。

所以这个系列收官的一篇,我做了 ui-pipeline-scheduler,一个全链路统一编排的 Skill。它不当球员,只当指挥,把前面几个 Skill 编排串联成一条自动化流水线。

本篇就聚焦这个 Skill,从它面对的问题讲起,到它怎么解决,再到实战跑一遍。

有了独立执行的 Skill,为什么还需要编排

把「人工串联」这件事拆开来看,问题往往集中在几个主要地方。

1、一条链,Skill要单独执行四次。

执行、诊断、重跑、报告,每一步都是单独发起。测试同学反而变成了 AI 之间的传话筒,一条链跑下来,切换十几次窗口。

2、衔接时机,靠人盯。

跑完要看一眼有没有失败,有失败才调诊断;修完要看一眼修没修好,修好了才值得重跑。每一步的「下一步」都要人来判断,人一走开,链就断。

3、重试几轮,没有规矩。

修一轮跑一轮,挂了再修再跑。什么时候算够?没有上限就是死循环,上限拍脑袋,修不好的用例照样耗时间。

4、多轮结果,相互冲突。

重跑通常只跑失败的那几条,新的执行结果会把旧的覆盖。首轮 8 条用例,重跑 3 条之后,结果文件里只剩 3 条。拿这个直接出报告,数字全是残缺的。

5、中途出错,整链报废。

诊断环节报个错,后面全部断掉,前面跑的结果也顾不上收。要么从头再来,要么手工拼凑。

6、接不进 CI。

流水线要的是单入口、一条命令。几个技能都是人工操作,CI 里根本没法落地。

这几件事有个共同点。顺序是固定的,条件是明确的,边界是清晰的。全是 AI 擅长的活。

那能不能让 AI 把「串链子」这一步也接管了?

答案是,可以。而且这一步接管之后,前面几个 Skill 的价值才真正连成片。

ui-pipeline-scheduler Skill 技能介绍

简单来说,ui-pipeline-scheduler 是一个把执行、诊断、重试、报告四个阶段自动串联成闭环的编排层 Skill。

它自己不干活,只负责按规则调度前置的几个 Skill。

输入

  • 测试项目目录(含 tests/pages/pages.yaml
  • 执行参数(优先级、标签、浏览器、并行数等)
  • 重试上限(默认 2 轮)

处理逻辑

  1. 环境自检:确认项目结构完整、Python 环境就绪;
  2. 首轮执行:调用 ui-test-executor 跑完指定范围,备份首轮结果;
  3. 条件诊断:有失败才调 ui-failure-diagnoser,全过直接跳到报告;
  4. 定向重试:只重跑失败的用例,修完再验,循环判断;
  5. 结果合并:把首轮和各轮重试的结果合并成一份完整数据;
  6. 终版报告:调用 ui-report-generator,融合全部产物出报告。

输出

  • 一份融合了执行、诊断、重试全部信息的终版 HTML 测试报告
  • 各轮留档结果与诊断报告

适用场景:

  • 一键全跑 UI 自动化(执行 + 诊断 + 重试 + 报告)
  • 版本发布前的完整回归闭环
  • 失败用例自动诊断修复后自动重试验证
  • 对接 CI/CD,单入口触发整条测试流水线

它的整个设计遵循两条原则。

零侵入,只当指挥。 它不改前面几个子 Skill 的任何代码、入参、出参,只做三件事,传参、读产物、控顺序。这条原则反过来看更重要,三个子 Skill 随时可以单独调用,套进流水线不影响单用,单用也不依赖流水线。

该停就停,绝不空转。 每一轮循环都有明确的退出条件,修不好就止损。一条流水线最怕的不是慢,是无意义地空转。

落到流程上,它固化成一条五阶段链路。

执行 → 诊断 → 重试 → 合并 → 报告

对着前面这几个问题,一步一步看它是怎么拆的。

1. 一条指令,五个阶段

对用户来说只有一个入口。一句话,「一键全跑 P0 冒烟,失败自动诊断修复重试,最后出报告」。剩下的,执行、诊断、重试、合并、报告,五个阶段按顺序自己走。

以前人要单独执行四次 AI,现在人只说一句话。

2. 全绿直通车

首轮就全过,是流水线最好的情况,也最不该浪费的情况。此时诊断和重试直接跳过,一路直通报告。

不为「流程完整」而空跑环节,每一环的触发都有实际条件。

3. 诊断修复,定向重试

首轮有失败,进入诊断环节。修完之后不重跑全量,只把失败的那几条捞出来定向重跑,快,而且不给已通过的用例添变数。

跑完再看结果,修好了继续收敛,还有失败就进入下一轮判断。

4. 熔断兜底,绝不死循环

三种情况,立即停机。重试轮数到上限;这一轮诊断一条都没修好,再跑也是白跑;或者全部通过了,任务完成。

停机后如果还有失败,不会静悄悄吞掉,会在结果里明确标出,这几条用例经过 N 轮修复仍未通过,附上用例清单。这几条,就是该人出手的地方。

5. 多轮合并,数字不失真

这是整条流水线最隐蔽的一个坑,也是编排层最值钱的细节。

重试只跑失败用例,结果文件会被覆盖成只剩一个小集合。直接拿去出报告,首轮 8 条的活,报告里只剩 3 条,数字全部失真。

所以每轮结果都留档,最终出报告前做一次合并,以首轮完整结果为基底,用各轮重试的最新状态逐条覆盖,用例一条不丢,状态都是最新。

Skill 实战演练

还是 shop-lab 项目。在技能列表中选择 ui-pipeline-scheduler,输入一句指令。

/ui-pipeline-scheduler 一键全跑 shop-lab 的 P0 冒烟用例,
失败自动诊断修复并重试,最后出一份完整报告

执行详细过程如下:

UI 自动化全流程执行完成,过程结果如下:

打开最新生成的测试报告,确认效果:

到此,我们通过一键式调度UI自动化测试流水线技能ui-pipeline-scheduler:将「执行→诊断→重试→合并→报告」串联好了。

绝大多数的场景下,你只需要调用这个技能就可以了。

小结

先说说我的真实感受。

这个系列写到第四篇,我最想分享的其实是一个认知。单个 Skill 是能力,编排才是生产力。 执行、诊断、报告,每一环单独看,省下的都只是一段时间。串成流水线之后,改变的是工作方式——测试同学从「盯着每个环节的操盘手」,变成「定好参数看报告的决策者」。这个角色变化,比省下来的几个小时值钱得多。

另一层感触在设计上。编排层最容易走歪的方向,是越做越胖,把几个 Skill 的逻辑都吸进来,最后变成一个谁也拆不开的大块头。ui-pipeline-scheduler 反着来,零侵入,只传参、读产物、控顺序,子技能保持完全独立。能组合,是因为各自专业;各自专业,才有资格组合。

当然,边界必须讲清楚。流水线自动化的是流程,判断权仍然在人。

AI 负责的事 人负责的事
五阶段按序调度、条件触发 定执行范围(跑哪些、跑几轮)
诊断修复循环、定向重试 复核熔断标记的「修不好」用例
熔断止损、绝不空转 确认真实缺陷、推动修复
多轮结果合并、数字不失真 看终版报告,做发布决策

特别提醒一句。熔断不是失败,是分工。 流水线明确告诉你「这几条机器修不好」,恰恰是它靠谱的表现,剩下的判断本来就属于人。别把一键流水线当成无人值守的挡箭牌,报告里那个 ⚠️ 标记,永远值得点开看一眼。

回顾一下整个过程。

痛点。 一条链调四次 AI,衔接靠人盯,重试没规矩,多轮结果打架,中途断链全报废,接不进 CI。

方案。 ui-pipeline-scheduler 把流程固化成「执行、诊断、重试、合并、报告」五阶段闭环。全绿直通车,失败进循环,熔断有兜底,合并不失真,单入口一条指令。

效果。 以前一轮完整回归,人要盯着串四次环节。现在一句话启动,回来直接看终版报告,中间的循环、止损、合并全部自动,CI 也能直接接。

边界。 AI 负责编排和执行,人负责参数和决策。流水线把路铺好,走不走、怎么走,还是人说了算。

到这里,「跑、修、报、串」四块拼图凑齐,UI 自动化从执行到决策的整条链路,正式跑通。

把这条链接进企业 CI/CD,代码一提交,测试自动跑,报告自动推。让你的流水线,真正流起来。老弟,你学会了吗,我们下个系列见。

目录
相关文章
|
2月前
|
Web App开发 人工智能 jenkins
还在手写测试报告?推荐一款 AI 测试Skill:只需一句指令,自动生成专业定制化测试报告!
`api-report-generator`是一款AI驱动的接口测试报告生成工具,一句指令即可将执行数据自动转化为含11大专业分区、风险分级、优化建议及Allure联动的决策型HTML报告,告别“数字堆砌”,让报告真正有人看、能决策。
262 0
还在手写测试报告?推荐一款 AI 测试Skill:只需一句指令,自动生成专业定制化测试报告!
|
1月前
|
人工智能 文字识别 JavaScript
AI 测试提效 | 脚本能跑但总挂?分享我的 ui-testscript-enhancer + Skill UI 自动化健壮性增强方案
本文介绍`ui-testscript-enhancer`技能:自动为AI生成的UI测试脚本注入六大健壮性能力——智能等待、弹窗处理、iframe/Shadow DOM穿透、异常重试、失败截图录屏及验证码识别(集成ddddocr),5分钟将“能跑”的脚本升级为CI-ready的“跑得稳”生产级脚本。
258 2
AI 测试提效 | 脚本能跑但总挂?分享我的 ui-testscript-enhancer + Skill UI 自动化健壮性增强方案
|
15天前
|
XML 人工智能 JSON
阿里开源:skill-up,一款Agent Skill 评测工具!
阿里开源的 skill-up 是首个专为 Agent Skill 设计的评测与演进工具,将软件测试方法论完整迁移:支持多引擎运行、声明式 YAML 用例、规则/脚本/LLM 三类断言,并内置自动修复与回归闭环。本地可跑,CI 可集成,让 Skill 质量可度量、可保障。
334 1
阿里开源:skill-up,一款Agent Skill 评测工具!
|
2月前
|
人工智能 NoSQL 测试技术
测试开发必备的 AI 技能库:推荐6 个让接口自动化测试效率翻倍的 Skills
本文详解接口自动化测试“执行与报告”阶段的6款AI Agent Skill:打标、执行、诊断、清理、报告、编排,覆盖脚本筛选→智能运行→失败自愈→数据净化→决策报告→全链路调度,实现真正智能化、流水线化的测试闭环。
348 1
测试开发必备的 AI 技能库:推荐6 个让接口自动化测试效率翻倍的 Skills
|
2月前
|
Web App开发 人工智能 前端开发
10万人都在用的 top10 skills,我帮你试了!
Vercel推出的AI技能导航站skills.sh热度爆表,Top 10技能最高达240万热度!本文实测全榜,揭秘哪些真好用:find-skills是必备入口,frontend-design治“AI味”页面,tdd强制测试先行,grill-me灵魂拷问方案……按角色推荐组合,助你高效赋能AI助手。
802 0
|
28天前
|
人工智能 JavaScript 测试技术
从 0 到 1,DeepSeek Harness 保姆级安装与使用教程!
DeepSeek Harness是DeepSeek推出的开源Agent运行框架,秉持“一切皆插件”理念,支持模型、工具、技能、工作流等全模块自由替换与扩展。其核心Cordis内核实现动态插件管理,赋能Agent自进化。已成GitHub史上增速最快开源项目(15w+ Star),标志着国内大模型从拼价格转向重架构与生态的新拐点。
1587 6
从 0 到 1,DeepSeek Harness 保姆级安装与使用教程!
|
1月前
|
人工智能 安全 IDE
公司不给你配 AI,你会自己掏钱吗?
AI正成为新时代的“办公软件”,开发者每月自费数百元订阅Claude、Cursor、Copilot等工具,实为工作刚需。公司尚未建立报销机制,但先行投入者已悄然积累不可替代的AI能力——这并非倒贴,而是抢占效率高地的聪明投资。
225 0
公司不给你配 AI,你会自己掏钱吗?
|
2月前
|
人工智能 JavaScript 测试技术
推荐一款开源工具:让 AI Agent 替你做 iOS、Android 自动化测试,能平替 Appium?
Appium统治移动端自动化测试12年,但脚本复杂、维护成本高。新开源工具agent-device(Callstack出品)开启范式革命:专为AI Agent设计,通过语义化元素引用(@e1)、全链路证据采集、探索→回放机制,让AI“看懂”界面自主操作,非Appium替代品,而是下一代智能测试基础设施。
429 0
|
27天前
|
人工智能 缓存 前端开发
智谱GLM-5.3+ZCode Agent,真实项目第一手实测!
智谱推出ZCode智能体开发环境,与旗舰模型GLM-5.3深度协同,实现“原生模型+原生Agent”高效配合。实测显示,ZCode提升任务通过率2.39%,缓存命中率超98%,显著降本增效。零配置、多平台、支持SSH/Docker,真实项目重构验证其开箱即用与工程落地能力。
942 0
智谱GLM-5.3+ZCode Agent,真实项目第一手实测!
|
23天前
|
人工智能 JavaScript 安全
19万Star DeepSeek Harness小白 10 分钟上手实操
DeepSeek Harness(dsh)是8月13日发布的本地AI智能体工作台,GitHub已获19万Star。它纯本地运行,支持读文件、改代码、查资料、执行命令,界面轻量、上手简单。本文手把手教你安装配置、运行首个任务,并推荐实用插件,小白10分钟即可上手。(239字)

热门文章

最新文章