《云栖TechDay》第9期:钉钉客户端自动化的应用

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 在4月9日的云栖TechDay活动上,卞伟为大家分享了钉钉客户端自动化的应用。钉钉产品是阿里的一款企业级IM工具,版本更新也很迅速,在迭代过程中,团队通过UI自动化对核心功能进行验证,节约回归的人力成本,并在自动化框架的基础上,针对特定场景的性能、弱网下的聊天功能也进行了自动化的改造。

49日的云栖TechDay活动上,卞伟为大家分享了钉钉客户端自动化的应用。

钉钉产品是阿里的一款企业级IM工具,版本更新也很迅速,在迭代过程中,团队通过UI自动化对核心功能进行验证,节约回归的人力成本,并在自动化框架的基础上,针对特定场景的性能、弱网下的聊天功能也进行了自动化的改造。

 

下面是Tech君整理的技术观点。

 

 


简介


钉钉是一个工作方式。从需求的层面出发,钉钉是一个IM聊天的客户端工具,对于用户而言,最关注的是APP的实际运行的效果,所以主要针对安卓和iOS进行测试,PC和外国版目前也是通过人力测试来保证的。测试的场景有功能场景(包括核心场景、聊天场景、设置场景等)、弱网场景。

 

1自动化的结构

自动化的结构,最核心的是UI操作。作为UI自动化肯定要有一个机制去驱动界面的元素识别和UI操作,安卓和iOS分别使用了两套基础UI操作库。安卓是一个叫Sword的内部操作框架的一些实现原理,与appium比较类似;iOS采用的是苹果原生的instrumentsUI Automation)。 UI操作是最核心的功能,在此之上,如果把它自动化建立起来,在它的外围就需要有一个基础库,所谓基础库,比如case运行的信息打印、日志收集,包括设备本身产生的一些日志等,这是作为辅助排查问题的手段,截图跟日志的功能相辅相成,还包括配置、变量管理等。接下来是测试框架,选用的是常见的junit,并且在其之上做了一些自定义runner的封装。最外层CIjenkins去执行,PTM工作台让客户端测试的人也能去方便的发现执行和查看结果,分布式执行是指把case分成不同的模块,和不同的等级,根据需要去驱动不同的等级和模块的case执行,万一需要全量执行,就采用分布式的方式在不同的机器、不同的手机上去执行,再做一个结果的汇总。报表邮件是自动化的延伸,让执行者和开发者能清楚的知道case运行的效果怎么样。

  


应用


基础自动化


基础的自动化是核心,在它周围有一些功能、性能、弱网。基础自动化是多机执行的,用sword作为安卓自动化的元素驱动,比如,多机case在聊天、设置、ding各个场景上都会用到,在业务utils封装上肯定也要考虑到多机执行。多组执行就是分布式执行,要考虑时间、设计系统配置,运行时在两组之间是并行执行,统一收集,在一组之间是串行执行的。多场景配置,比如,运行一个全量或核心的case,全量的case两百多个,三四十分钟,有时候可能只需要去验证很关键的点,在不会对其他的功能造成影响的情况下,就可以运行最核心的case。还有,性能case、弱网case也是通过场景列表的方式传给自动化的框架的。  


功能自动化

 

2 PTM工作台

我们有一个PTM工作台提供给客户端测试的人,他只需要去关心怎么发起执行,怎么查看执行结果,怎么判断当前版本的健康程度。经过简单的配置之后,它就可以执行并且收到一些结果。

 

3结果展现

在这个结果中可以看到,最上面是一个简单的统计。比如,这次运行用了多少case,跑了多少时间,是否有疑似crash。运行的是哪个版本,通过了多少,失败了多少,有多少个被跳过的。每个case,它的状态是通过或者没通过,如果这个case失败了,自然有相应的截图,每个case之外的截图都有展现。比如,第一台设置在哪个界面,每个操作按照时间顺序一一记下来,并且作设备的标注,这样就方便事后复现在自动化中发现的一些问题。


性能

 

性能测试有两个需求:

第一,   在业务中人工去测试APP的时候,做一些监控,比如,监控cpumem等等。

第二,   在自动化里面做一些固定的场景,就要去评判做一些很简单的功能case,然后把新功能的数据采集到,性能case就可以这样做出来了。

所以性能测试的流程就是初始化操作,采集数据(包括cpumem、流量、电量、响应时间),按照功能自动化的时间把功能一步步用自动化的case写好,结束采集,上下滑动或者左右滑动去采集FPS。这些指标怎么去获得的呢?流量可以通过安卓系统希望文件直接获得上下行流量信息。加载时间通过打点的方式去做,通过服务端和客户端埋点日志。CPU由安卓系统本身拿到。内存可以通过安卓dumpsys meminfo拿到。电量把一个简单APP装载在手机上,根据时间方式来获得最终的电量消耗,APP装在手机端通话时,采集的时候去交货。FPS使用安卓的SurfaceFinger

 

4指标信息

图中,在不同的场景看它的每个指标的信息。比如,首次打开、首次登陆、非首次登陆就有五百条未读信息等等。不同场景列下来,每一个场景有不同的性能指标。

5钉钉Android最近三个版本性能消耗

图为最进三个版本的性能消耗的对比,我们可以和历史数据进行比较。通过自动化采集信息的时候,我们都会给它一个版本,每次在采集数据的时候在数据库里会有记录,当需要版本对比的时候,直接拿历史数据进行对比就可以知道两个版本之间或者三个版本之间的差异有多大。

   


弱网

 

6网络类型的速度

弱网测试是一个很实际的例子,2G3G所谓的3.5G到最后的4G不同的就是移动通信的标准,它对速度的标准要求差别是比较大的。ITU规定的第三代移动通信无线传输技术的最低要求中,必须满足在以下三个环境的三种要求。即:快速移动环境,最高速率达144kb/s;室外到室内或步行环境,最高速率达384kb/s;室内环境,最高速率达2Mb/s。在实际的应用、测试当中,离这个标准差的还是很远的,2G下载是12kb/s,到4G是比较快的,离真正的ITU标准还是有一定距离的。那么,在不同的网络情况下,怎么样进行弱网测试呢?

 

7屏蔽箱的使用

屏蔽箱的手段是指,一个屏蔽箱隔绝了所有的信号,把手机放在屏蔽箱后,按照一定的设备通过显现式把它放大然后再衰减,先将它放大到一个值,然后再信号衰减,让我们方便控制衰减到一定的值时,把信号引入屏蔽箱中。在这种场景下,可以比较方便的进行弱网下的模拟和相应的测试。

 

8更简单的方案

但是,屏蔽箱比较昂贵,怎么办呢?有一个更简单、更便宜的方案。用树莓派加上开源的弱网控制模块(FacebookATC)去达到模拟弱网测试的效果,就可以设置上下行流量等等。把手机连接WIFI时,树梅派实现模拟弱网的测试,这也是不同场景弱网的一个消耗。

   

 

执行

 

9问题分类报告

 

10分析汇总

执行层面还有哪些需要去解决?客户端同学通过PTM工作台发起case,怎样评判效果?或者发现case失败了,怎么看case是因为什么原因失败的?我们对自动化进行专门维护,针对失败进行分析,把失败的原因分类通过这个报告记录下来,下一次客户端同学可以根据这个分析结果进行判断,比如,它的每一次执行,每个分类去分析每个结果。

 

我们现在采用的策略是什么?一方面是执行,执行是指每日构建,每天至少跑一次针对mate版本去进行完整的构建,每周发布、每周报告。另一方面是维护,维护是外包的专人维护。目前的case数量在UI层面比较多,安卓和iOS加起来大概有三四百个,满足性能的case有一百多个,弱网大概是几十个,因为UI自动化成本比较大,只有最核心的功能评估后才放到UI自动化的层面做。

 

 

 

关于分享人


卞伟

 

2009年加入百度,负责网页搜索核心模块测试,包括服务端模块的自动化、性能测试等,后负责众测平台、自动化测试框架的开发;2014年加入阿里巴巴,主要方向是手机端应用(来往、钉钉)的安卓端UI自动化建设,目前主要负责微应用的H5功能、性能等测试。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
18天前
|
人工智能 数据可视化 测试技术
AI 时代 API 自动化测试实战:Postman 断言的核心技巧与实战应用
AI 时代 API 自动化测试实战:Postman 断言的核心技巧与实战应用
259 11
|
2月前
|
运维 监控 持续交付
还在为部署开源工具烦恼?自动化部署工具 Websoft9一键部署 300+ 开源应用
在数字化时代,开源工具因免费、灵活、可定制等特性广受欢迎,但其部署过程却常因环境配置复杂、依赖繁琐、耗时长等问题令人头疼。本文介绍了传统部署的三大难点,并提出两种解决方案:传统手动部署与集成化控制台部署。
还在为部署开源工具烦恼?自动化部署工具 Websoft9一键部署 300+ 开源应用
|
2月前
|
运维 监控 应用服务中间件
运维打铁: Ruby 脚本在运维自动化中的应用探索
Ruby 是一种简洁、动态类型的编程语言,适合运维自动化任务。本文介绍了其在服务器配置管理、定时任务执行和日志分析处理中的应用,并提供了代码示例,展示了 Ruby 在运维自动化中的实际价值。
98 2
|
1月前
|
人工智能 IDE 测试技术
Browser-Use在UI自动化测试中的应用
Browser-Use是一款浏览器自动化工具,具备视觉与HTML解析、多标签管理、操作记录与复现、自定义操作、自我纠正及并行执行等功能,助力AI智能体高效完成网页任务。
186 0
|
9月前
|
Java 测试技术 数据安全/隐私保护
软件测试中的自动化策略与工具应用
在软件开发的快速迭代中,自动化测试以其高效、稳定的特点成为了质量保证的重要手段。本文将深入探讨自动化测试的核心概念、常见工具的应用,以及如何设计有效的自动化测试策略,旨在为读者提供一套完整的自动化测试解决方案,帮助团队提升测试效率和软件质量。
|
7月前
|
Kubernetes 持续交付 开发工具
阿里云协同万兴科技落地ACK One GitOps方案,全球多机房应用自动化发布,效率提升50%
阿里云协同万兴科技落地ACK One GitOps方案,全球多机房应用自动化发布,效率提升50%
230 2
|
7月前
|
Kubernetes 持续交付 开发工具
阿里云协同万兴科技落地ACK One GitOps方案,全球多机房应用自动化发布,效率提升50%
阿里云协同万兴科技落地ACK One GitOps方案,全球多机房应用自动化发布,效率提升50%
|
8月前
|
XML 人工智能 文字识别
Mobile-Agent:通过视觉感知实现自动化手机操作,支持多应用跨平台
Mobile-Agent 是一款基于多模态大语言模型的智能代理,能够通过视觉感知自主完成复杂的移动设备操作任务,支持跨应用操作和纯视觉解决方案。
2910 10
Mobile-Agent:通过视觉感知实现自动化手机操作,支持多应用跨平台
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
CogAgent-9B:智谱 AI 开源 GLM-PC 的基座模型,专注于预测和执行 GUI 操作,可应用于自动化交互任务
CogAgent-9B 是智谱AI基于 GLM-4V-9B 训练的专用Agent任务模型,支持高分辨率图像处理和双语交互,能够预测并执行GUI操作,广泛应用于自动化任务。
313 12
CogAgent-9B:智谱 AI 开源 GLM-PC 的基座模型,专注于预测和执行 GUI 操作,可应用于自动化交互任务
|
9月前
|
存储 人工智能 自然语言处理
ChatMCP:基于 MCP 协议开发的 AI 聊天客户端,支持多语言和自动化安装 MCP 服务器
ChatMCP 是一款基于模型上下文协议(MCP)的 AI 聊天客户端,支持多语言和自动化安装。它能够与多种大型语言模型(LLM)如 OpenAI、Claude 和 OLLama 等进行交互,具备自动化安装 MCP 服务器、SSE 传输支持、自动选择服务器、聊天记录管理等功能。
2353 16
ChatMCP:基于 MCP 协议开发的 AI 聊天客户端,支持多语言和自动化安装 MCP 服务器