为保护客户业务信息,本文对企业名称、被测产品及部分测试数据进行了匿名化处理。文中内容基于真实 POC 验证过程整理。
导读
很多企业已经开始使用 AI 生成测试用例,但真正进入测试执行阶段后,依然绕不开一个问题:
AI 能不能不依赖提前编写好的自动化脚本,直接理解手工测试用例,自主操作 APP,并完成结果断言?
在本次企业 POC 中,我们选择了一个生活服务类 APP 的典型业务场景,对爱测智能测试平台的 APP 自动化测试智能体进行了验证。
测试任务并不复杂,却非常具有代表性:
启动 APP → 添加目标城市 → 判断添加结果 → 删除目标城市 → 判断删除结果 → 退出应用。
这次验证重点不在于“跑通一个脚本”,而是判断 AI 智能体能否完成从用例理解、页面分析、路径规划、操作执行、结果断言到报告生成的完整闭环。

目录
企业为什么要验证 AI 自动化测试
本次 POC 选择了什么业务场景
AI 测试智能体如何执行测试
本次重点验证了哪些 AI 能力
POC 最终取得了什么结果
AI 测试平台能为企业带来什么价值
从 POC 走向企业落地还需要关注什么
一、企业为什么要验证 AI 自动化测试?
传统 APP 自动化测试通常依赖 Appium、UIAutomator 等框架,由测试人员提前完成:
元素定位
脚本编写
页面等待
异常处理
断言设计
报告集成
这种方式在流程稳定、页面变化较少的场景中十分成熟,但随着业务快速迭代,企业也会面临一些现实问题。
- 自动化脚本建设周期较长
一条手工测试用例,通常不能直接转化为可执行任务。
测试开发人员需要将自然语言步骤拆解为代码,再为每个页面元素配置定位方式。对于业务流程较长、交互频繁的 APP,用例自动化改造成本并不低。
- 页面变化会带来持续维护成本
按钮位置调整、页面结构变化、控件属性修改,都可能导致原有脚本失效。
测试人员不仅要编写脚本,还要持续维护脚本。
- 指令型测试步骤难以直接执行
手工用例中经常出现这样的描述:
删除目标城市。
这句话对人工测试人员来说很容易理解,但传统自动化脚本无法直接执行。它需要进一步拆解为:
进入城市管理页面
找到目标城市
点击删除入口
点击删除图标
确认删除
检查城市列表
企业希望验证的,正是 AI 智能体能否理解这种面向业务的测试指令,并自主完成后续操作。
二、本次 POC 选择了什么业务场景?
本次 POC 选择了某生活服务类 APP 中的“城市管理”功能。
这是一个典型的移动端业务流程,涉及页面跳转、信息搜索、列表选择、数据删除和结果断言等多种操作。
测试用例主要步骤
启动被测 APP
进入城市管理页面
点击添加城市
搜索并添加目标城市
检查目标城市是否添加成功
删除刚刚添加的目标城市
检查目标城市是否已被移除
检查当前页面是否显示默认城市
退出应用
这个场景看似简单,但其中包含了多个值得验证的能力:
验证维度
具体内容
用例理解
能否理解自然语言测试步骤
页面感知
能否识别当前页面结构和可操作元素
路径规划
能否规划从当前页面到目标功能的操作路径
搜索与输入
能否完成输入、搜索和列表选择
自主推理
能否将“删除城市”拆解为多个具体动作
结果断言
能否判断添加、删除是否成功
过程留痕
能否生成截图、视频、日志和断言记录
因此,这次 POC 验证的并不是某一个点击动作,而是 AI 对完整测试任务的理解和执行能力。
三、AI 测试智能体如何执行测试?
爱测智能测试平台没有将手工用例简单翻译成一段固定脚本,而是通过 APP 自动化测试智能体完成动态执行。
整个执行过程可以概括为五个阶段。

- 用例配置
测试人员在平台中选择需要执行的手工测试用例,并配置本次执行所使用的:
大语言模型
APP 用例执行智能体
自动化执行节点
任务名称及运行参数
配置完成后,即可启动测试任务。
启动并分析 APP
智能体启动被测 APP 后,不会立即按照固定坐标点击,而是先分析当前页面结构,识别页面中的按钮、输入框、列表和可交互区域。按照测试意图执行操作
智能体根据测试用例中的业务描述,依次完成:
进入城市管理页面
点击添加入口
搜索目标城市
选择并添加城市
检查添加结果
进入删除流程
删除目标城市
检查删除结果
执行过程中,智能体会结合当前页面状态动态决定下一步操作。
- 自主完成断言
测试用例中不仅包含操作步骤,还包含预期结果。
智能体需要确认:
目标城市是否出现在城市列表中
删除操作完成后,目标城市是否已消失
当前页面是否显示预期的默认城市
这意味着 AI 不只是负责“点击”,还需要理解测试步骤对应的业务结果。
- 生成完整测试报告
执行完成后,平台自动生成测试报告,记录:
每一步操作截图
实际执行动作
断言过程和结果
测试执行视频
详细运行日志
用例最终执行状态
测试人员可以根据截图、视频和日志回看整个执行过程。
四、本次重点验证了哪些 AI 能力?
本次 POC 重点验证了五项能力。
- 自然语言测试用例理解
传统自动化测试需要测试人员将业务步骤转换为代码。
AI 测试智能体则直接读取手工测试用例,并识别其中的:
操作对象
操作意图
页面目标
预期结果
断言条件
例如,当用例中写明“添加目标城市”时,智能体需要理解这不是一次简单点击,而是一个包含进入页面、搜索、选择和确认的连续任务。
- 页面结构动态分析
智能体启动 APP 后,会根据当前页面内容识别可操作元素,而不是完全依赖提前写死的操作坐标。
当页面状态发生变化时,智能体会重新分析当前页面,并决定下一步操作。
这种执行方式有助于降低传统 UI 自动化对固定页面路径和固定元素定位的依赖。
- 操作路径自主规划
本次验证中,测试用例描述的是业务目标,并没有为智能体提供每一个点击动作。
以“删除目标城市”为例,智能体需要自主推理:
删除目标城市
↓
进入城市管理或编辑页面
↓
定位目标城市
↓
找到删除入口
↓
点击删除
↓
处理确认操作
↓
检查删除结果
这也是本次 POC 中最有代表性的验证点。
AI 智能体不是机械复现预设脚本,而是根据测试目标和当前页面状态,动态规划操作步骤。
- 业务结果智能断言
测试执行是否成功,不能只看操作有没有完成,还要看业务结果是否符合预期。
在本次场景中,智能体完成了对以下结果的判断:
目标城市添加成功
目标城市出现在城市列表中
目标城市删除成功
删除后列表中不再显示目标城市
页面显示预期的默认城市
这使得 APP 自动化测试从“执行动作”进一步延伸到了“验证业务结果”。
- 测试过程可观测与可追溯
AI 自动化测试能否进入企业使用,除了执行成功率,还需要解决一个重要问题:
当执行失败时,测试人员能否快速知道问题出在哪里?
爱测智能测试平台在本次执行中生成了完整的过程记录,包括:
步骤截图
操作日志
断言结果
执行视频
异常信息
测试人员可以通过视频回放还原操作过程,通过日志分析智能体的执行步骤,通过截图定位具体页面状态。
这为后续的问题分析、执行复盘和缺陷定位提供了依据。
五、POC 最终取得了什么结果?
本次单条测试用例成功完成了完整执行流程:
启动 APP
→ 添加目标城市
→ 断言添加成功
→ 删除目标城市
→ 断言删除成功
→ 检查默认城市
→ 退出应用
从本次 POC 结果来看,平台完成了以下能力验证:
POC 验证项
验证结果
识别自然语言测试步骤
已完成
分析 APP 页面结构
已完成
自主规划操作路径
已完成
执行点击、搜索和选择
已完成
根据指令推理删除流程
已完成
完成添加与删除断言
已完成
生成截图、视频和日志
已完成
输出完整测试报告
已完成
尤其是在“删除目标城市”这一指令型步骤中,智能体能够根据当前页面状态,自主推理需要进入编辑页面、定位目标城市、点击删除入口并完成确认操作。
最终执行结果与人工测试人员按照测试用例操作的结果一致。
需要说明的是,本次验证属于特定 APP、特定版本和特定测试用例下的 POC 结果。单条用例执行成功,并不等同于已经完成大规模生产验证。
但它至少证明了一点:
AI 测试智能体已经具备从手工测试用例出发,完成 APP 操作执行、结果断言和报告生成的基础能力。
六、AI 测试平台能为企业带来什么价值?
- 降低手工用例自动化改造门槛
企业现有测试资产中,通常积累了大量手工测试用例。
传统自动化建设需要将这些用例逐条转换为代码,而 AI 测试智能体可以直接理解自然语言测试步骤,为企业已有用例资产提供新的执行方式。
这意味着,测试自动化的起点可以从“编写脚本”逐步前移到“编写清晰的业务用例”。
- 减少简单重复脚本的开发成本
对于登录、搜索、添加、删除、设置等常见业务流程,测试团队通常要投入大量时间编写和维护自动化脚本。
通过 AI 智能体承担部分指令型用例的执行工作,测试开发人员可以将更多精力投入到:
复杂业务场景设计
测试策略制定
平台能力建设
质量风险分析
核心链路保障
- 提升测试用例的可执行性
传统手工测试用例更多是给人看的。
引入 AI 智能体后,用例需要具备更加明确的操作对象、业务目标和预期结果。
例如,相比于:
检查一下城市功能。
更适合 AI 执行的描述是:
搜索并添加目标城市,确认该城市出现在城市列表中;随后删除该城市,确认城市列表中不再显示该城市。
这种变化也会推动企业逐步提高测试用例的规范性和结构化程度。
- 缩短测试结果分析链路
测试失败后,平台不仅给出“成功”或“失败”,还可以结合:
截图查看页面状态
视频回放操作过程
日志分析执行步骤
断言记录确认预期差异
相比只有最终结果的黑盒式执行,可观测的执行过程更有利于企业定位问题。
- 为智能化测试体系提供统一入口
爱测智能测试平台的能力不只局限于 APP 用例执行,还可以围绕企业测试全流程扩展:
需求文档分析
测试点提取
测试用例生成
手工用例 AI 自动化执行
Web、APP 等多端测试
智能遍历与探索性测试
领域建模与知识图谱
测试报告与质量数据沉淀
企业可以从一个高频、可验证的业务场景开始,通过 POC 逐步验证平台能力,再根据实际效果扩展应用范围。
七、从 POC 走向企业落地,还需要关注什么?
一次 POC 跑通,解决的是“能力是否可行”的问题。
真正进入企业生产环境,还需要进一步验证以下内容。
用例规模
需要从单条用例逐步扩展到几十条、几百条甚至更多测试用例,评估批量执行效果。页面复杂度
需要覆盖弹窗、动态列表、权限申请、网络异常、加载等待、复杂手势等更多移动端交互。执行稳定性
需要连续运行多轮,统计执行成功率、平均耗时、失败原因和重试效果。版本适应能力
需要在 APP 页面改版、控件变化或流程调整后,观察智能体是否仍能正确完成任务。成本与效率
除了关注模型能力,还需要综合评估:
单条用例执行时间
模型调用成本
Token 消耗
设备资源占用
人工维护投入
爱测智能测试平台在执行过程中集成了相应的算法和调度能力,以减少不必要的模型调用和 Token 消耗,但具体收益仍需要结合企业真实用例规模进行测算。
结语
这次企业 POC 验证的意义,不只是完成了一次“添加并删除城市”的 APP 操作。
它真正验证的是一条新的自动化测试路径:
自然语言测试用例
→ AI 理解测试意图
→ 分析当前页面
→ 自主规划操作
→ 模拟用户执行
→ 判断业务结果
→ 生成可追溯报告
传统自动化测试的核心是“测试人员提前把每一步写成代码”。
AI 测试智能体尝试解决的,则是:
测试人员描述要验证什么,由智能体根据页面和业务目标决定具体怎么执行。
对于正在建设智能化测试体系的企业来说,更适合的落地方式不是一开始就替换现有自动化体系,而是选择具有代表性的业务场景开展 POC:
验证智能体能否理解现有手工用例
验证复杂交互能否稳定执行
验证断言结果是否可信
验证报告是否便于追溯
验证整体成本是否具备投入价值
从一个场景跑通,到一类场景复制,再到多端测试规模化应用,才是 AI 测试平台真正进入企业质量体系的现实路径。
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。