阿里测试技术最高奖,又被他们拿了!!!

简介: 爱迪生奖是阿里测试技术领域的最高奖项,奖励在测试领域有卓越表现和突出贡献的技术团队。去年第四届爱迪生大奖中,淘系技术部——技术质量团队斩获了大赛冠军。今年的5月21日,第五届阿里巴巴测试爱迪生大赛颁奖典礼正式举行,经过一整天紧张激烈的评比,淘系技术技术质量团队最终凭借《客户端体验分级之统一降级》在29个项目脱颖而出,再次斩获大奖!本文将对此项目展开详细的介绍。

爱迪生奖是阿里测试技术领域的最高奖项,奖励在测试领域有卓越表现和突出贡献的技术团队。

去年第四届爱迪生大奖中,淘系技术部——技术质量团队斩获了大赛冠军

今年的5月21日,第五届阿里巴巴测试爱迪生大赛颁奖典礼正式举行,经过一整天紧张激烈的评比,淘系技术技术质量团队最终凭借《客户端体验分级之统一降级》在29个项目脱颖而出,再次斩获大奖!本文将对此项目展开详细的介绍。

屏幕快照 2020-06-11 下午5.56.13.png

背景

不知你是否遇到过如下情况:一个团队辛苦做了半年的业务,大促期间是最好的验证机会,但业务被评估内存高风险高,被迫提前关闭;专门为大促准备的活动,业务同学摩拳擦掌等拿结果,上线后由于某部分有问题导致整个业务下线,这些显然与我们业务先赢的愿景是背离的。或是上线后引发崩溃但是却因种种原因只能硬抗,这带给用户的感受显然与阿里用户第一的原则是不符的。

业务是必须要尝试新玩法的,这是发展的基础,近几年像多媒体、AR、游戏、动效、端智能已经铺开了,但是用户呢,16年上市的设备与19年上市的设备同时使用,可以很明显的感受到流畅度的差距,对于依旧使用16年设备的用户来讲,手淘使用感受就是 「难用」。

使用这些难用设备的用户有多少?19年11月的一份行业分析报告中可以看出,约 60% 的国产Android用户购买的是2000元以下的设备;超过 30% 的iphone用户还在使用 5 年之前的机器,在四线城市这个数据接近 50%。

image.png

一边是一些设备性能较差的用户反馈卡顿,一边是客户端需要更炫酷的玩法去支撑业务发展。冲突出现了,比起不顾一切的上动效或是一刀切的砍玩法,显然存在一个更合理的共赢的选项:

image.png

体验分级

我们为客户端提供一套无需业务代码改动、快速生效、支持多维度筛选的通用分级降级能力。通过分级能力,高端机用户可以有更炫酷更沉浸的玩法,低端机用户可以有流畅的购物体验;通过降级能力,业务能够维持最大的可用性,将线上问题的影响面降到最低。目前统一降级已成为淘系主流业务的分级降级标准。

image.png

业务的接入非常简单清晰,在平台上进行唯一 ID 的注册,只需要填写这两项,接下来端上在进入自身逻辑之前请求客户端 SDK,客户端 SDK 会根据当前设备信息以及平台配置信息返回给业务对应的策略,业务根据策略执行对应的业务逻辑,如果业务没有特殊配置,至此基础使用部分就完成了。

image.png

统一降级

对于个性化分级/线上止血的需求,平台支持对品牌、机型、版本、系统、设备分、CPU架构、GPU分数等维度进行排列组合的灵活配置;举个真实的例子,某业务在 iphone7 ios 13 线上出现崩溃,就只需在平台上选择 iphone7 、选 ios 13、选降级,当用户设备是iphone7 ios 13时就匹配成功返回业务想走的策略了。

image.png

再走一步试试

在19年的双促实战使用中,我们通过分析数据发现一个现象,很多时候crash会聚集在某几款机型中,也就是说那几款机型以较低的用户占比贡献了较高的crash占比。

那么我们为何不再往前走一步,通过实时数据分析,给业务提供合理的推荐降级策略,联动降级平台引导业务做出投入产出比较好的决策。

智能推荐流程图:

image.png

智能推荐实际效果图:

我们通过各个业务的 crash 分布占比数据,以及手淘用户机型占比数据,进行算法模型关联,推荐给业务高投入产出比的降级列表,帮助业务做决策。

image.png

用户用脚投票才是真的好

image.png

设备评分体系18年投入使用,统一降级体系19年投入使用,截止目前手淘内的互动活动、游戏等新玩法都已接入,像闪屏、店铺等一线模块也已接入。大促主互动主会场从19年双十一开始至马上到来618分级降级全部依托统一降级能力。

使用效果举例:

问题1:双十一主互动上线后 crash 高于预期 ,迅速升为手淘 native crash的 top 1 问题

分析:通过统计数据并分析可以看出,crash主要集中在某几款机型上,有10款机型crash占比 49% ,但是该10款机型的用户占比很低。

之后决策通过统一降级能力进行止血:

  1. 针对指定机型执行降级
  2. 同时将手淘低端机分数线上抬,从 20分 抬高至 40分

效果:降级后,原10款机型crash占比从 49% 下降到 15%

降级前该crash占比总体 19.258% ,降级后该crash占比总体 8.94%。

下图 红线 为21号未降级数据,蓝线 为22号已降级数据。可见效果比较明显

1.png

问题2:321大促 ios 端店铺直播卡片发生 crash ,双端均无法上线。

分析:首先 ios 端进行降级,保证 andoroid 端正常上线有业务效果,接下来对ios进行修复后降级逐步恢复。

效果见上图:

目前手淘内的大型互动、游戏使用统一降级已成为标准,我们所见的大盘上每一个数字都是一个真实用户的感受,让用户用的舒心、让业务玩法发挥最大价值,是我们需要持续建设的部分。

CRASH 大盘上每一个数字都是一个真实用户的感受,每次一分级处理都是对业务和用户共同的保护。

image.png

One More Thing

我们是淘系技术质量团队,负责保障整个淘宝和天猫主站的业务质量,这里有丰富多样的业务场景和技术挑战,我们将持续建设及完善整个淘系稳定性、提升用户体验。
📮如果您有兴趣可将简历发至:hane.yjr@alibaba-inc.com,期待您的加入~

关注「淘系技术」微信公众号,一个有温度有内容的技术社区~
image.png

相关文章
|
13天前
|
前端开发 JavaScript 测试技术
前端测试技术中,如何提高集成测试的效率?
前端测试技术中,如何提高集成测试的效率?
|
13天前
|
数据采集 前端开发 安全
前端测试技术
前端测试是确保前端应用程序质量和性能的重要环节,涵盖了多种技术和方法
|
1月前
|
存储 监控 网络协议
服务器压力测试是一种评估系统在极端条件下的表现和稳定性的技术
【10月更文挑战第11天】服务器压力测试是一种评估系统在极端条件下的表现和稳定性的技术
116 32
|
20天前
|
前端开发 JavaScript 测试技术
前端小白逆袭之路:如何快速掌握前端测试技术,确保代码质量无忧!
【10月更文挑战第30天】前端开发技术迭代迅速,新手如何快速掌握前端测试以确保代码质量?本文将介绍前端测试的基础知识,包括单元测试、集成测试和端到端测试,以及常用的测试工具如Jest、Mocha、Cypress等。通过实践和学习,你也能成为前端测试高手。
38 4
|
25天前
|
编解码 安全 Linux
网络空间安全之一个WH的超前沿全栈技术深入学习之路(10-2):保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali——Liinux-Debian:就怕你学成黑客啦!)作者——LJS
保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali以及常见的报错及对应解决方案、常用Kali功能简便化以及详解如何具体实现
|
25天前
|
人工智能 安全 Linux
网络空间安全之一个WH的超前沿全栈技术深入学习之路(4-2):渗透测试行业术语扫盲完结:就怕你学成黑客啦!)作者——LJS
网络空间安全之一个WH的超前沿全栈技术深入学习之路(4-2):渗透测试行业术语扫盲完结:就怕你学成黑客啦!)作者——LJS
|
25天前
|
安全 大数据 Linux
网络空间安全之一个WH的超前沿全栈技术深入学习之路(3-2):渗透测试行业术语扫盲)作者——LJS
网络空间安全之一个WH的超前沿全栈技术深入学习之路(3-2):渗透测试行业术语扫盲)作者——LJS
|
25天前
|
SQL 安全 网络协议
网络空间安全之一个WH的超前沿全栈技术深入学习之路(1-2):渗透测试行业术语扫盲)作者——LJS
网络空间安全之一个WH的超前沿全栈技术深入学习之路(1-2):渗透测试行业术语扫盲)作者——LJS
|
1月前
|
机器学习/深度学习 存储 监控
深入解析软件测试中的自动化测试技术
本文旨在全面探讨软件测试中的自动化测试技术。通过对自动化测试的定义、优势、常见工具和实施步骤的详细阐述,帮助读者更好地理解和应用自动化测试。同时,本文还将讨论自动化测试的局限性及未来发展趋势,为软件测试人员提供有益的参考。
72 6
|
2月前
|
测试技术 持续交付 UED
软件测试的艺术与科学:平衡创新与质量的探索在软件开发的波澜壮阔中,软件测试如同灯塔,指引着产品质量的方向。本文旨在深入探讨软件测试的核心价值,通过分析其在现代软件工程中的应用,揭示其背后的艺术性与科学性,并探讨如何在追求技术创新的同时确保产品的高质量标准。
软件测试不仅仅是技术活动,它融合了创造力和方法论,是软件开发过程中不可或缺的一环。本文首先概述了软件测试的重要性及其在项目生命周期中的角色,随后详细讨论了测试用例设计的创新方法、自动化测试的策略与挑战,以及如何通过持续集成/持续部署(CI/CD)流程优化产品质量。最后,文章强调了团队间沟通在确保测试有效性中的关键作用,并通过案例分析展示了这些原则在实践中的应用。
78 1
下一篇
无影云桌面