优酷移动端组件智能测试方案

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介: 随着优酷APP上内容运营方案和玩法的丰富,针对分发和消费业务场景,内容配置平台上的运营组件数量也在增多,移动端的回归测试工作量激增。如何跟随业务发展的脚步,又保证组件测试质量的高效率?本文将分享优酷在该方面的思考和探索

现状分析

  • 组件个数多,回归成本高

常用分发消费业务,组件上百个,回归用例中组件部分占比较高,版本回归时需要快速完成覆盖测试,找出其中有问题的组件。

  • 运营配置组合多,千人千面,适配工作量大

元数据的多样性加上不同的运营策略,端上组件千人千面,在视觉升级或技术改造项目中,组件的适配测试是必须的,要完成Top机型的适配,工作量比较大。

  • 常规UI自动化验证粒度粗

现有核心场景自动化针对组件的测试用例,UI层面的验证粒度很粗,只能验证组件View是否存在,不能验证具体控件(比如组件内坑位上的主、副标题等)是否存在;而且原生的Dump工具,双端的定位方式不同,Case需要维护2套。

  •  基于原生定位的自动化易受技术改造的影响,维护成本高

优酷首页开发为了提升性能对View做了一些改造,导致自动化维护成本增加,诸如此类的技术改造逐渐增多,对常规自动化很有挑战。

通过分析组件现状,我们结合现有Mock和图像识别的能力,打造了组件化智能测试方案,期望像测试服务端接口一样测试移动端组件。


项目方案

从以下5个方面解决问题:

image.png

方案价值

  1. 过Mock打造数据驱动的组件化测试方案,提高组件测试效率,和用户体验;
  2. 基于图像识别和Mock,减少对端测试系统的依赖性,提高测试稳定性;
  3.  将服务端引流数据应用到客户端,打造客户端数据工厂,提高测试数据覆盖度;

整体架构

image.png

数据工厂

针对移动端和服务端组件化架构,对线上引流数据、端效工具2个通道的数据进行抽象化解析和存储,该方案支持单坑位/多坑位的模板存储,正常数据/异常数据生成,快速构造不同业务丰富的组件测试数据。

目前,数据工厂已经完成一期建设,主要是将上述能力平台化展示,能够快速的支持组件自动化的数据构造需求,比如Mock数据的编辑、组合、生成,配置文件的生成。

image.png

图像识别能力

图像识别能力使用的是优酷图像识别的服务,借助该能力能够提高组件验证能力,降低件验证难度。

组件专项的图像识别方案确立比较坎坷,经历了多次评估、实验、否定,总结下来分为二期。

一期:算法针对业务进行了深度学习,抽离了组件划分规则,能够将页面布局按服务端接口样式下发数据结构。

image.png

该方案算法学习成本大,组件样式多样,组件划分规则不再,同时,很多业务逻辑由图像识别来承接,业务方扩展不灵活,所以又设计了二期方案。

二期:设计了组件标注界面,将组件布局划分的能力开放给业务方,业务方到平台上传截图,对组件各层布局标注后保存。

自动化使用时只需传截图和标注Id,图像识别服务根据配置Id获取标注布局后将最终识别数据返回,包括文本和坐标。

image.png

image.png

(左右滑动查看图片)


自动化测试

有了数据工厂的数据构造和配置化的布局识别能力,就可以打造数据驱动的组件智能测试了。

自动化使用的是优酷客户端自动化框架(该框架在蚂蚁移动端自动化框架基础上对通用流程进行了封装),结合业务沉淀的组件测试策略,设计了数据处理类,涉及数据请求和应用,数据映射和对比,业务方只需要构造测试数据配置文件,编写业务逻辑,对比部分直接继承公共Case,公共Case用来处理核心的UI对比和点击验证。

基本流程及逻辑

自动化将相似度识别与配置化布局识别的方案结合,共同完成UI和点击验证部分。测试用例就2步,UI验证、点击验证,UI验证有相似度对比和配置化布局对比2种方案,点击验证有配置化坐标点击和传统方式点击2种方案。

根据是否有对比基线图、是否有配置化标注ID、相似度UI对比是否通过,测试分为5个逻辑线:

  1. 没有相似度对比基线图时:Mock后仅截图上传,不做UI和点击验证;
  2. 有相似度对比基线图,且有配置化标注ID时:执行相似度UI验证,通过则进行配置化坐标点击验证;
  3. 有相似度对比基线图,且有配置化标注ID时:执行相似度UI验证,不通过再进行配置化布局UI验证,然后进行配置化坐标点击验证;
  4. 有相似度对比基线图,无配置化标注ID时:执行相似度UI验证,通过则进行传统方式点击验证;

有相似度对比基线图,无配置化标注ID时:执行相似度UI验证,不通过再进行配置化布局UI验证,然后进行传统方式点击验证;

image.png

项目效果及应用

目前首页/频道页已经完成自动化接入和应用,清洗后的数据,涉及通用组件、双列组件几十个,mock文件上百个,覆盖90%以上线上常用组件,60%以上组件测试用例可自动化。

下图是相似度对比+配置化坐标点击的执行效果,每个验证点都可查看详情图片。

下图是配置化布局UI对比的执行效果,6个坑位逐个验证,点击详情可以看到每个坑位内的核心控件(主、副标题等)都有验证结果

image.png

下图是配置化布局UI对比的执行效果,6个坑位逐个验证,点击详情可以看到每个坑位内的核心控件(主、副标题等)都有验证结果。

image.png


未来规划

未来将会在3个核心链路继续深耕:

自动化测试侧,框架中的通用能力优化,扩展到其他测试类型,比如适配测试,扩展到Pad端;目前测试触发还是脚本层面,后续会考虑将测试融入到数据平台,可一键触发测试。

图像识别侧,二期配置化标注界面功能需要强化,支持图像可视化编辑,支持多坑位组件标注1个标准坑位即可应用其他坑位。

数据工厂侧,需要细化异常数据构造规则,覆盖更全面的业务策略,构造少而全的业务数据用例,同时,可以借助线上数据,生成回放线上热度链路用例,最终使其不局限于组件自动化而存在。

相关文章
|
11月前
|
数据可视化 前端开发 测试技术
接口测试新选择:Postman替代方案全解析
在软件开发中,接口测试工具至关重要。Postman长期占据主导地位,但随着国产工具的崛起,越来越多开发者转向更适合中国市场的替代方案——Apifox。它不仅支持中英文切换、完全免费不限人数,还具备强大的可视化操作、自动生成文档和API调试功能,极大简化了开发流程。
|
6月前
|
自然语言处理 算法 数据可视化
文本聚类效果差?5种主流算法性能测试帮你找到最佳方案
本文探讨了自然语言处理中句子嵌入的聚类技术,使用Billingsmoore数据集(925个英语句子)进行实验。通过生成句子嵌入向量并可视化分析,对比了K-Means、DBSCAN、HDBSCAN、凝聚型层次聚类和谱聚类等算法的表现。结果表明,K-Means适合已知聚类数量的场景,DBSCAN和HDBSCAN适用于未知聚类数量且存在异常值的情况,而谱聚类在句子嵌入领域表现不佳。最终建议根据数据特征和计算资源选择合适的算法以实现高质量聚类。
305 0
文本聚类效果差?5种主流算法性能测试帮你找到最佳方案
|
Java 测试技术 持续交付
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
本文重点讲解如何搭建App自动化测试框架的思路,而非完整源码。主要内容包括实现目的、框架设计、环境依赖和框架的主要组成部分。适用于初学者,旨在帮助其快速掌握App自动化测试的基本技能。文中详细介绍了从需求分析到技术栈选择,再到具体模块的封装与实现,包括登录、截图、日志、测试报告和邮件服务等。同时提供了运行效果的展示,便于理解和实践。
791 4
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
|
12月前
|
监控 测试技术 定位技术
HTTP代理IP响应速度测试方案设计与指标体系
随着数字化发展,网络安全、隐私保护及内容访问自由成为核心需求。HTTP代理因其技术优势成为热门选择。本文介绍HTTP代理IP响应速度测试方案,包括基础性能、稳定性、地理位置、实际应用、安全性测试及监控指标,推荐测试工具,并提供测试结果评估标准。
249 2
|
机器学习/深度学习 算法 UED
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法。本文介绍 A/B 测试的基本概念、步骤及其在模型评估、算法改进、特征选择和用户体验优化中的应用,同时提供 Python 实现示例,强调其在确保项目性能和用户体验方面的关键作用。
423 6
|
监控 测试技术 开发工具
移动端性能测试工具
移动端性能测试工具
926 2
|
6月前
|
Java 测试技术 容器
Jmeter工具使用:HTTP接口性能测试实战
希望这篇文章能够帮助你初步理解如何使用JMeter进行HTTP接口性能测试,有兴趣的话,你可以研究更多关于JMeter的内容。记住,只有理解并掌握了这些工具,你才能充分利用它们发挥其应有的价值。+
985 23
|
8月前
|
SQL 安全 测试技术
2025接口测试全攻略:高并发、安全防护与六大工具实战指南
本文探讨高并发稳定性验证、安全防护实战及六大工具(Postman、RunnerGo、Apipost、JMeter、SoapUI、Fiddler)选型指南,助力构建未来接口测试体系。接口测试旨在验证数据传输、参数合法性、错误处理能力及性能安全性,其重要性体现在早期发现问题、保障系统稳定和支撑持续集成。常用方法包括功能、性能、安全性及兼容性测试,典型场景涵盖前后端分离开发、第三方服务集成与数据一致性检查。选择合适的工具需综合考虑需求与团队协作等因素。
1093 24
|
8月前
|
SQL 测试技术
除了postman还有什么接口测试工具
最好还是使用国内的接口测试软件,其实国内替换postman的软件有很多,这里我推荐使用yunedit-post这款接口测试工具来代替postman,因为它除了接口测试功能外,在动态参数的支持、后置处理执行sql语句等支持方面做得比较好。而且还有接口分享功能,可以生成接口文档给团队在线浏览。
331 2
|
10月前
|
JSON 前端开发 测试技术
大前端之前端开发接口测试工具postman的使用方法-简单get接口请求测试的使用方法-简单教学一看就会-以实际例子来说明-优雅草卓伊凡
大前端之前端开发接口测试工具postman的使用方法-简单get接口请求测试的使用方法-简单教学一看就会-以实际例子来说明-优雅草卓伊凡
697 10
大前端之前端开发接口测试工具postman的使用方法-简单get接口请求测试的使用方法-简单教学一看就会-以实际例子来说明-优雅草卓伊凡