智能化测试新趋势:手淘 AI+IoT 机器人泛终端测试实战

简介: “为模拟真实用户”,Robot-XT 极测机器人提供了为用户体验度量评测的能力,不仅可以最大程度地模拟用户真实操作,还实现了多设备跨终端的功能自动化和用户体验度量。同时,Robot-XT 极测机器人通过 IoT+AI 的智能化技术搭建一套支持多机操作并具备高稳定性的的 UEE 自动化解决方案,实现了覆盖从线上 App 到线下智能门店场景的端到端自动化测试,赋能行业,为软件绿色联盟的加盟 App 提供用户体验评测服务。

嘉宾 | 金晖(定源)

“为模拟真实用户”,Robot-XT 极测机器人提供了为用户体验度量评测的能力,不仅可以最大程度地模拟用户真实操作,还实现了多设备跨终端的功能自动化和用户体验度量。同时,Robot-XT 极测机器人通过 IoT+AI 的智能化技术搭建一套支持多机操作并具备高稳定性的的 UEE 自动化解决方案,实现了覆盖从线上 App 到线下智能门店场景的端到端自动化测试,赋能行业,为软件绿色联盟的加盟 App 提供用户体验评测服务。

在 2021 年 5 月北京 QCon 全球软件开发大会上,阿里巴巴高级测试专家金晖(花名定源)分享了阿里巴巴基于 AI+IoT 的机器人测试方案。我们整理了他的演讲,以期为您提供自动化测试的新方案。(下文以金晖老师第一人称叙述)

一、泛终端自动化测试及真实用户体验评测的背景介绍

互联网公司通常存在多个 App 交互频繁。比如消费者在 c 端手淘、天猫下单,商家会在千牛 App 收到订单提醒,多 App、跨终端的交互测试场景越来越多。从终端来说,随着智能移动终端普及从智能手机拓展到了 IoT(物联网),终端系统也拓展到了 Android、iOS、鸿蒙、Win Touch、RTOS 等等。随着新零售的发展,线上线下不断融合,硬件和云端、AI 形成了软硬件一体化的链路,此时测试和纯软件层的测试差异较大。

在新的时代趋势下,传统基于单操作系统内的 UI 自动化测试已经无法满足多 App 多终端间的交互测试,无法真正意义上地实现端到端覆盖业务的全链路测试。

image.png

同时,在产品精细化过程中,用户体验竞争白热化,严重影响到用户流失、拉新促活,因此深度用户体验提升的需求也日益增加,用户体验指标需要更高精度的测量,需要探索一种完全模拟用户真实操作的方式。

我们缺乏多端/多系统交互全流程的⾃动化测试⼿段,体验指标需分段获取且精度不够,在不同操作系统上测试需要维护多个脚本。因此,我们尝试了一种新的测试思路:UEE 测试(User E2E Experience Testing)——以“真实”模拟用户为核心目的,与被测软件解耦,实现了真正的端到端的测试。

UEE 的第一个 E 代表了 Experience,即具备深度⽤户体验评测的能⼒,即要求:

  • 更⾼精度:端侧的性能和体验优化精确到 ms 级别
  • 多设备间交互测量:除了 App 之间,实现和 PC 乃⾄IoT 之间交互的场景
  • ⽆侵⼊真实模拟:降低软件模拟点击和真实⽤户操作的差异

第二个 E 代表了端到端——“End1 to End2”,即实现对多设备端到端功能⾃动化测试的⽀持:

  • 多机交互⾃动化:快速⽀持多⼿机 App 间、⼿机与 PC/IoT 之间交互的操作
  • 外部视⻆的对象识别:摆脱软件层不同操作系统 API 操作的局限,以及软件层 API 对 部分场景下元素⽆法识别的问题
  • ⼀套跨终端设备的通⽤脚本:降低多套⾃动化脚本的维护成本

所以 UEE 测试要具备两个核心能力,用户交互体验评测能力和多设备端到端功能自动化能力。

用户交互体验评测能力即通过 IoT(如摄像头、机械⼿、传感器)等外部设备采集,并通过 AI 算法将真实⽤户感受数字化,来获取最接近真实⽤户体感的性能及⽤户体验指标。

多设备端到端功能自动化能力即通过机械⼿对多设备跨终端的被测系统做⾃动化测试、通过 AI 算法实现 IoT 设备的调度控制、对象识别、测试步骤执⾏、异常处理等。

二、基于 AI+IoT 的机器人测试方案:UEE 测试模式

image.png

实现机器人测试,首先要用高清、高速摄像头模拟人的眼睛,引入摄像头的对象识别机制代替原存在系统内截图、录屏和 XPath,同时拍摄多个设备,做到⽆侵⼊被测系统。

第二是用机械⼿模拟人的单手和双手,包括伸缩、滑动等动作,此时需要封装一套机械手的操控的 API,并且它要实现底层软硬件执⾏引擎透明,既可用机械手也可用传统软件层执行,⼀套脚本跨越所存在的操作系统,同时可操作多个设备。

最后通过算法代替人脑智能分析,实现视视频/图像分析、异常弹窗处理、⽩屏检测等

RXT 机器⼈技术⽅案

image.png

RXT(Robot-XT)机器⼈技术方案核心难点有三:

  • 实现多传感器的融合,通过摄像头、机械手、传感器等等组合实现与被测系统的解耦
  • 通过多种算法组合⽀撑体验评测和跨端⾃动化
  • 开发⼀套跨平台系统的脚本 IDE

IOT 控制方面的核心是控制摄像头和机械手。我们采取了云边结合的架构,在边缘端部署了控制摄像头和机械手的 RXT 客户端。

image.png

摄像头的操控

我们发现相同算法面对摄像头⻆度不同、环境光源不稳定等情况下收集到的视频、图像数据,计算结果差异很大。因此,我们采用了双摄像头模式,顶部摄像头负责图片拍摄,做图像实时分析;侧面底部摄像头负责拍摄视频传到云端做离线用户体验评测。

同时,摄像头拍摄的视频和录屏截屏的图像质量存在的品质差距,增加了算法处理的难度。我们通过图像增强,直方图处理等,使得图像更易被算法识别。

此外,我们需要从摄像头拍摄的画面分割出所需的手机屏幕。机械臂在执行时常常和手机屏幕相连,因此做边缘检测也会合为一体,难以拆分。手机屏幕、械臂及周边底色存在亮度差异,我们借此实现了 ROI 获取,过程如下图所示:

image.png

机械手精准操作

真正的端端自动化必须保证机械手的精准操作。核心问题是如何将手机屏幕、摄像头拍摄的图像以及机械手三个坐标映射到同一个世界坐标中?我们采取了多级空间坐标映射,通过透视变换,实现算法识别后机械臂可精准地点到指定位置。
image.png

基于图像 AI 的组合算法

图像 AI 的算法我们主要实现了三种:图⽂并茂的对象识别、⾮预期弹窗的识别处理和体验评测⾃动化。

image.png

图⽂并茂的对象识别

识别对象时,我们改进了 SURF 算法,叠加了 OCR 技术,增强了小图标识别能力。原生的 SURF 算法精度不够,对于特征相似的小图像经常匹配失败。我们在特征向量上增加了斜率判断,匹配的成功率大幅度上升(如图中情况 3)。如特殊情况屏幕中存在多个相同小图标,则需要手动调参。

image.png

非预期弹窗的识别处理

弹窗一般存在两类,系统级弹窗和业务级弹窗。系统级弹窗即首次安装 App 时的授权许可等,业务级弹窗即业务促销的红包、活动等的弹窗,如盖楼、抢红包等。

图一、图二中系统级的弹窗可通过传统方式监听,图三、图四业务级弹窗受业务影响,变化复杂,传统⽅法⽆法监听。因此,我们将传统的基于系统事件监听的⽅式整体变为了基于纯视觉算法的判断。

image.png

图一、图二中系统级的弹窗,可通过 OCR 识别先将文字提取出来,用波特进行语义理解,识别出“好”、“确定”等词后点击。对于图三、图四中业务级弹窗,我们首先通过 Yolov3 做的模型训练,将弹窗从背景中分割出来,分割后可识别每个弹窗的圆×进行。该组合算法可处手淘理 95%以上的弹窗。

体验评测⾃动化

体验评测自动化中,我们认为用户真实感受到的加载时长等于从机械手点击到页面变化的最后一帧的时间差,关键在于如何去判断页面加载的结束帧。我们采取视频降采样,根据灰度、⼆值化、去噪声计算图像的差值分数,即变化的程度,随后用实验测出合适的阀值,之后在整个视频区间倒序查找阀值之上最后一个差值,即为最后一帧,流程如下图所示:

image.png

一套跨平台脚本 IDE

我们跨平台脚本 IDE 的特点是一个脚本同时可以操作多个设备,可在 IDE 上调试和运行,即脚本需在 Web IDE 上运行后,方可提交机器人执行。

在调试和运行时,多个模拟⼿机可以随时切换,可切换手机去看执行步骤,通过 d1、d2 等来操作所有设备中的被测对象。此外,我们⽀持截图编写脚本。

机器人测试实战案例

我们在实际项目中使用 UEE 完成了众多的测试任务。

UEE 测试项目自动化实战

一年半前,淘系消息系统要对百亿级 BC 消息系统(买卖双方聊天系统)做整体架构和业务模型升级。当时,旺信业务已运行多年,重构时需让⽤户⽆感平滑迁移,而重构后⾸个客户端版本即为双⼗⼀版本,缺乏灰度时间。所以此时测试至关重要。

image.png

上图中巴拿马是我们内部指新的消息系统的代号。为了保证项目平滑稳定,我们在客户端同时准备了新老两个版本,一旦故障可快速切回老通道。

该方案极大地增加了测试工作量:BC 消息系统交互本就非常复杂,包括安卓、iOS、PC 等多端,再加上新、老通道,组合共计 36 种消息互通场景,工作量为原有的 36 倍。

当时,我们只凑成了 10 个测试同学,要在 30 天中测完 700 多人日的测试任务,难于上青天。

UEE 测试系统在此项⽬中起了关键作用,⽀撑了 Android、iOS、PC 共 6 轮⾃动化回归,每轮执⾏了⽤例 3000+,使测试人员可以将精力放在服务端全量入压测等复杂测试上。

UEE 测试项目体验实战

手淘和千⽜的体验优化中,UEE 测试支撑了⼿淘消息/千⽜商家 Android/iOS 核⼼场景加载时⻓测试,获得了跳闪⽩检测体验数据 2000+次,⽀撑了淘宝买菜 Android/iOS 核⼼场景 A/B⽅案和竞品分析,获得了体验数据 500+条、

这里需要特别强调的是,某些 lOT 设备厂家的定制系统有未对外开放的 API,此时在软件层就无法实现竞品分析了,需借用 UEE 测试系统。

此外 ,在双十一大促备战时,我们会设置专项,包括卖家到买家到卖家等端到端的核心流程自动化、手淘/千牛加载体验验收、线上舆情自动化复现等。

线下端到端测试

下图是 UEE 测试系统线下端到端测试的案例,图中分别为 UEE 和联通合作、天猫无人超市、阿里未来酒店的场景。

image.png

阿里未来酒店存在 300 多间房,测试人脸识别购买不能只在软件层做回归,但硬件测试找真实的人去测成本高。我们通过机器人测试对未来酒店人脸购买做了自动化验收。

室内定位拥有众多 AP 节点,需要对整个空间搭建指纹库,即基础的信息库。通过人工收集数据工作量大且精度只能到米,借助 RXT 机器⼈可实现自动化地采集和定位且精度可控制到厘米。上图(左)为用激光雷达扫描的酒店⼤堂 SLAM 地图。最终实现了根据地图自动化采集和巡检。

线下门店无人超市的重力货架的测试也需要测硬件,我们通过机器人对 300 多个重力货架,实现了压测和功能上巡检。

机器人智能化测试下一步思考和探索

UEE 测试改变了改变了端到端测试,从软件层到硬件层,从单端到多端覆盖了全端;扩展了自动化测试范围,⼀次性完成功能⾃动化和⽤户体验评测;降低了测试脚本维护成本,⼀套 DSL 脚本同时操作 1 个或多个设备(iOS/Android/PC Touch/RTOS/鸿蒙 等等)。

UEE 测试适合以下场景:

  • 单设备/多设备 App⽤户体验指标⾼精度评测
  • AB/新⽼版本/竞品体验对⽐评测
  • 多设备交互的端到端功能⾃动化测试
  • 一次性完成单端功能+⽤户体验评测⾃动化测试
  • 线下场景软硬件端到端测试

UEE 测试在阿里集团内,⽀持了阿⾥集团 10+ App 的测试,覆盖了阿⾥集团⼤促体验验收、商家业务、消息、社区团购、直播、逛逛、IoT、线下智能等业务形态。

阿里在 2018 年内部开始使用机械手和摄像头做用户体验评测,2019 年时软件绿色联盟也推出了移动智能终端的行业标准,认定需要用摄像头和机械手来做评测。我们 2020 年和绿盟合作,成为了软件绿色联盟的官方评测平台之一。现在还在内测阶段,未来将面向全行业开放,希望我们的开源能减轻大家的负担,用无脚本的方式实现自动化测试。

image.png

我们已经开始研发的 RXT2.0 引入了强化学习、好奇心机制、规则自学习等能力,将聚焦在智能探索和智能验证的两个能力上,去实现智能探索测试,只能判断测试过程中发现的预期内和预期外的问题。

此外我们也在研发做新一代的自动化的机柜,可规模化量产的机械臂+摄像头⼀体机柜。

嘉宾介绍

金晖(花名定源),阿里巴巴淘系高级测试开发专家。目前负责淘系的消息基础平台、千牛商家平台、服务市场等业务板块的质量保障。也曾负责无人超市、阿里未来酒店等线下智能场景的质量保障。存在丰富的线上和线下测试经验,主攻智能化测试方向,探索 UEE(User E2E Experience Testing)自动化测试。在加入阿里巴巴之前,就职于中国工商银行软件开发中心杭州测试部担任高级经理。并存在多项发明专利。

了解更多软件开发与相关领域知识,点击访问 InfoQ 官网:https://www.infoq.cn/,获取更多精彩内容!

目录
相关文章
|
28天前
|
人工智能 自然语言处理 算法
具身智能高校实训解决方案 ----从AI大模型+机器人到通用具身智能
在具身智能的发展历程中,AI 大模型的出现成为了关键的推动力量。高校作为培养未来科技人才的摇篮,需要紧跟这一前沿趋势,开展具身智能实训课程。通过将 AI 大模型与具备 3D 视觉的机器人相结合,为学生搭建一个实践平台。
192 64
|
4天前
|
人工智能 安全 机器人
OpenAI重拾规则系统,用AI版机器人定律守护大模型安全
在人工智能领域,大语言模型(LLM)展现出强大的语言理解和生成能力,但也带来了安全性和可靠性挑战。OpenAI研究人员提出“规则基于奖励(RBR)”方法,通过明确规则引导LLM行为,确保其符合人类价值观和道德准则。实验显示,RBR方法在安全性与有用性之间取得了良好平衡,F1分数达97.1。然而,规则制定和维护复杂,且难以完全捕捉语言的多样性。论文:https://arxiv.org/pdf/2411.01111。
35 13
|
1月前
|
人工智能 机器人 Shell
AI语音机器人安装方法 AI机器人安装代码
AI语音机器人安装方法 AI机器人安装代码
31 2
|
1月前
|
人工智能 运维 Serverless
【CAP评测有奖】邀您共探 AI 应用开发新趋势,赢取多重好礼!
云应用开发平台 CAP(Cloud Application Platform)是阿里云推出的一站式应用开发和生命周期管理平台。是专为现代开发者打造的一站式解决方案,旨在简化应用开发流程,加速创新步伐。它集成了丰富的 Serverless + AI 应用模板、开源工具链与企业级应用管理功能,让无论是个人还是企业开发者,都能轻松构建云上应用,并实现持续迭代升级。
|
2月前
|
机器学习/深度学习 人工智能 测试技术
探索 AI 驱动的软件开发:未来技术的新趋势
【10月更文挑战第19天】本文探讨了人工智能(AI)在软件开发中的应用现状和技术优势,包括代码生成、缺陷检测、自动化测试和性能优化。AI 可以提高开发效率、减少人为错误、加速创新并持续学习。文章还讨论了实施 AI 驱动开发的挑战和最佳实践,强调了数据管理和技能培训的重要性。
|
2月前
|
机器学习/深度学习 人工智能 自动驾驶
2024.10|AI/大模型在机器人/自动驾驶/智能驾舱领域的最新应用和深度洞察
本文介绍了AI和大模型在机器人、自动驾驶和智能座舱领域的最新应用和技术进展。涵盖多模态大语言模型在机器人控制中的应用、移动机器人(AMRs)的规模化部署、协作机器人的智能与安全性提升、AR/VR技术在机器人培训中的应用、数字孪生技术的优化作用、Rust语言在机器人编程中的崛起,以及大模型在自动驾驶中的核心地位、端到端自动驾驶解决方案、全球自动驾驶的前沿进展、智能座舱的核心技术演变和未来发展趋势。
185 2
|
1月前
|
存储 人工智能 搜索推荐
AI智能语音机器人的基本业务流程
简介: 先画个图,了解下AI语音机器人的基本业务流程。上图是一个AI语音机器人的业务流程,简单来说就是首先要配置话术,就是告诉机器人在遇到问题该怎么回答,这个不同公司不同行业的差别比较大,所以一般每个客户都会配置其个性化的话术。话术配置完成后,需要给账号配置线路,目的就是能够顺利的把电话打出去。线路配完后,就是建立任务了,说白了就是导入电话号码,因为资源有限,不可能导入一批立即打完,所以需要以任务的形式分配给机器人,然后机器人逐个完成。值得一提的是,如果有多条线路,创建任务时建议提供线路选择功能,很多公司的业务不止一个城市,而大家又是比较习惯接听自己所在城市的电话,所以这个选择主
|
2月前
|
机器学习/深度学习 传感器 人工智能
马斯克的AI机器人可以拯救一个陷入困境的教育系统吗?
马斯克的AI机器人可以拯救一个陷入困境的教育系统吗?
|
3月前
|
人工智能 Cloud Native Java
新趋势、新开源、新实践|云栖大会 AI 原生应用架构专场邀您参会
新趋势、新开源、新实践|云栖大会 AI 原生应用架构专场邀您参会
267 17
|
2月前
|
人工智能 搜索推荐 机器人
挑战未来职场:亲手打造你的AI面试官——基于Agents的模拟面试机器人究竟有多智能?
【10月更文挑战第7天】基于Agent技术,本项目构建了一个AI模拟面试机器人,旨在帮助求职者提升面试表现。通过Python、LangChain和Hugging Face的transformers库,实现了自动提问、即时反馈等功能,提供灵活、个性化的模拟面试体验。相比传统方法,AI模拟面试机器人不受时间和地点限制,能够实时提供反馈,帮助求职者更好地准备面试。
97 2