AI 辅助鸿蒙 APP UI 自动化实践

简介: 之前分享过 Android 和 iOS 平台的 AI 辅助 UI 自动化方案。不少伙伴看完之后,都希望能配套鸿蒙端的实现。 鸿蒙 UI 自动化的实战落地并不简单。 相比 Android 和 iOS,鸿蒙生态下 UI 自动化相关的实战资料还不算多。经过多轮调研与踩坑验证,整理出基于 Hypium + HDC 的鸿蒙 APP UI 自动化完整实践方案。 覆盖自动化落地全链路:从前期技术调研与方案探索、脚本编码开发、用例执行与测试报告输出,再到问题定位、脚本迭代修复。希望可以给正在做鸿蒙端自动化的同学提供参考,减少重复踩坑。 为什么选择 Hypium + HDC 做鸿蒙 APP UI 自动化,绕不开

之前分享过 Android 和 iOS 平台的 AI 辅助 UI 自动化方案。不少伙伴看完之后,都希望能配套鸿蒙端的实现。

鸿蒙 UI 自动化的实战落地并不简单。

相比 Android 和 iOS,鸿蒙生态下 UI 自动化相关的实战资料还不算多。经过多轮调研与踩坑验证,整理出基于 Hypium + HDC 的鸿蒙 APP UI 自动化完整实践方案。

覆盖自动化落地全链路:从前期技术调研与方案探索、脚本编码开发、用例执行与测试报告输出,再到问题定位、脚本迭代修复。希望可以给正在做鸿蒙端自动化的同学提供参考,减少重复踩坑。

为什么选择 Hypium + HDC

做鸿蒙 APP UI 自动化,绕不开两个基础能力。

Hypium 是鸿蒙生态下常用的自动化测试框架,可以用于编写和执行 UI 自动化用例。

HDC 可以理解为鸿蒙侧的设备调试工具,负责和模拟器或真机通信,例如查看设备、安装应用、拉取文件、执行命令等。

整体方案设计

这套鸿蒙 UI 自动化方案主要由 4 个 Skill 组成。

从执行链路上看,可以分成四个阶段:

1. 探索界面:启动应用,遍历关键页面,获取界面结构和截图;

2. 生成计划:根据页面信息和测试目标,整理可确认的测试计划;

3. 生成并执行代码:把计划转换为 Hypium 自动化脚本并执行;

4. 报告与修复:查看执行报告,根据失败原因进行脚本修复和重跑。

这几个阶段的边界要尽量清晰。探索阶段不要急着写代码,先把页面状态、可操作元素和业务路径搞清楚;代码生成阶段也不要一次性追求覆盖所有页面,而是先围绕核心路径生成可执行脚本;执行失败后先分析原因,再决定是否修复脚本。

完整Skill获取见文末

前置准备

在使用这套流程前,需要先准备好鸿蒙开发和运行环境,至少包括:

  • DevEco Studio;
  • 鸿蒙模拟器或可调试真机;
  • Python 运行环境;
  • Hypium 相关依赖;
  • 被测应用的包名,也就是 bundle_name。。

案例实践

第一步:探索界面

探索界面是整个流程里非常关键的一步。

很多 UI 自动化脚本不稳定,问题并不在代码本身,而是在写代码之前没有充分理解页面结构。比如按钮文案是否固定、控件层级是否稳定、进入页面前是否有弹窗、同一个页面是否存在多个相似入口等。

所以在生成代码之前,先让 Skill 帮我们把页面探索清楚。

使用格式如下:

 text
/hypium-expolore 包名 其他信息

下面是示例:

1. 检查执行环境

执行开始后,Skill 会先检查本地环境

2. 启动并连接模拟器

环境检查通过后,流程会尝试启动或连接鸿蒙模拟器。

3. 操作页面并获取界面信息

连接设备后,Skill 会在模拟器中操作页面元素,进入目标页面,并获取当前界面的结构信息。

4. 产出测试计划

探索完成后,会生成两个关键文件。

一个是 Markdown 文件,主要给人看。它会把探索到的页面、操作路径、测试点整理成更容易确认的内容。

另一个是 JSON 文件,内容会更结构化,主要提供给后续代码生成环节使用。

第二步:生成 Hypium 自动化代码

确认计划后,就可以进入代码生成阶段。

这一阶段会根据前面生成的计划文件、页面 dump、截图和元素信息,生成对应的 Hypium 自动化代码。

*

第三步:执行代码并查看报告

代码生成后,可以通过执行 Skill 运行用例。

执行完成后,会生成多类结果文件,例如:

日常查看时,重点看 HTML 报告即可。

报告里可以看到每条用例的执行结果、步骤日志、截图信息和失败原因。

*

第四步:失败修复与重跑

UI 自动化执行失败很常见,尤其是在移动端和鸿蒙这类环境依赖比较多的场景里。

失败后不建议直接让 AI 大范围改代码。更稳妥的方式是先看报告,判断失败类型,

确认需要修复脚本时,可以触发修复 Skill。

AI 会读取执行报告和失败日志,结合已有代码进行分析。修复后,可以只重跑失败用例,避免每次都执行全部用例。

*

小结

鸿蒙 APP UI 自动化的难点,不只是写 Hypium 脚本,而是把环境、设备、页面探索、元素信息、测试计划、代码生成、执行报告和失败修复组织成一条稳定链路。

基于 Hypium + HDC 的 Skill 方案,适合把这些重复但容易出错的环节流程化:先探索页面,再确认计划,再生成代码,最后执行和修复。

目录
相关文章
|
2月前
|
存储 缓存 搜索推荐
京东券后价≠真实下单价!做比价系统和 ERP 货源对接,这几个价格坑 90% 的人都踩过
本文详解京东原价与券后价的核心差异:原价为官方挂牌价,稳定可用作比价基准;券后价是叠加公开优惠的参考价,易变且不含个性化权益。厘清二者定义、稳定性、用途及计算逻辑,助电商开发规避价格误导、采购偏差等常见陷阱。
418 0
|
10月前
|
存储 自然语言处理 Kubernetes
基于 UModel 高效构建可观测场景统一实体搜索引擎
在复杂的云原生环境中,服务、Pod、主机等可观测实体动辄成千上万,散落在 APM、K8s、云资源等多个系统中。当故障发生时,如何快速从海量数据中“找到那个出问题的服务”,成为 SRE 和运维工程师的核心挑战。
553 109
|
1天前
|
存储 弹性计算 运维
云服务器也有“碳账单”:GreenOps不是省电,而是别让资源白烧
云服务器也有“碳账单”:GreenOps不是省电,而是别让资源白烧
38 1
|
1天前
|
数据采集 运维 监控
数据集成神器!数据库、API、文件数据一站式同步,数据工程师可以少加班了
数据工程师常陷于多源异构数据(数据库/API/Excel)的重复搬运与排错中。FineDataLink 5.0 是一站式数据集成平台,支持多源接入、ETL/ELT低代码开发、实时同步、API服务、统一运维与质量治理,让数据流动更稳定、开发更高效、运维更可控。
|
8天前
|
人工智能 自然语言处理 测试技术
基于 JEV 的 UI 自动化改造实践:从页面探索到失败修复
最近讨论度很高的 AI 模型: JEV 。 它和常见的大模型不太一样。ChatGPT、Claude 这类模型更擅长对话、生成文本、写代码、解释问题;JEV 的定位更窄一些,主要用来做判断。调用接口后,它会根据输入内容返回结构化结果,程序可以直接读取这个结果,再决定下一步怎么执行。 这个特点很适合放在自动化流程里。 以 UI 自动化测试为例,传统脚本通常是提前写好步骤:点击哪个按钮、输入什么内容、断言哪个元素出现。只要页面结构稳定,这种方式没有问题。但在实际项目里,页面经常会出现一些不确定情况: 同一个业务入口在不同环境里文案不完全一致; 页面上有多个相似按钮,需要判断应该点哪一个; 执行失败后
72 1
|
21天前
|
人工智能 JSON 测试技术
测试工程师必备:HAR 一键生成 Skill!禅道建用例 ! 提 Bug 不再受版本限制
前段时间在开发禅道提交Bug的skill时,遇到了一个问题:禅道官方提供的 cli 和 mcp 有版本限制,只有比较高的版本才可以使用,不少团队还在使用低版本禅道,这套能力就直接无法使用,提 Bug、建用例想用 AI 提效,链路直接断掉。 针对这个版本兼容痛点,我想到一个思路—— 开发一个用来创建 Skill 的 Skill :不再依赖禅道原生接口工具,而是把浏览器抓下来的 HAR 文件当作输入数据源 ,自动梳理请求、凭证和变量,再生成对应业务 Skill,从根源绕开版本约束。 并且我把它封装成通用能力,并不局限禅道这一个系统。 比如公司内部自研的工时填报系统、Bug 管理平台,都可以通过一份
61 1
|
1天前
|
测试技术
Higress Token 限流配置验证与问题排查实践
本文验证Higress“ai-token-ratelimit”插件的额度限流配置:厘清`limit_by_consumer`(精确匹配用户)与`limit_by_per_consumer`(按用户维度限流)的区别,通过9组用例测试用户名、通配符、正则及IP网段等配置的解析行为,4组通过、5组拒绝,全部符合预期。
|
1天前
|
弹性计算 JSON 运维
骑手取消与补差收益核对:可运行的跨期事件账本示例
骑手同时完成外卖、帮买和帮送订单,还遇到取消、日奖励和补差,后台核对收益时应先按同一骑手和记账区间汇总已批准事件,再与钱包及提现分开核验。本文处理一个具体故障:昨日订单的补差在今天重复到达,既可能重复计钱,也可能因按送达日查询被遗漏。用一个可运行的小账本说明输入约束、幂等、跨期与撤回。
22 0
|
1天前
|
存储 安全 数据安全/隐私保护
从"出了事再查"到"平时就防":医院患者数据保护的改造复盘
本文复盘医院患者数据安全改造全过程:从U盘随意拷贝、病历明文传输、拍屏无追溯、操作无记录的“裸奔”状态,到构建外设管控、文档加密、屏幕水印、行为审计四道防线,实现信息安全由“事后追责”转向“事前设防”,筑牢合规底线。(239字)
|
1天前
|
数据采集 人工智能 自然语言处理
2026 如何为品牌或企业布局高权重的GEO“信源”阵地?
2026年,生成式AI搜索主导流量,“信源引用率”成品牌曝光新核心。本文详解GEO(生成式引擎优化)四大策略:优化官网结构化数据与知识切片;布局权威第三方平台构建信任链;适配API与多模态信源;以黄金测试集驱动闭环归因迭代——抢占大模型“首选信源”,掌握话语权。(239字)
22 0

热门文章

最新文章