阿里测试技术最高奖,又被他们拿了!!!

简介: 爱迪生奖是阿里测试技术领域的最高奖项,奖励在测试领域有卓越表现和突出贡献的技术团队。去年第四届爱迪生大奖中,淘系技术部——技术质量团队斩获了大赛冠军。今年的5月21日,第五届阿里巴巴测试爱迪生大赛颁奖典礼正式举行,经过一整天紧张激烈的评比,淘系技术技术质量团队最终凭借《客户端体验分级之统一降级》在29个项目脱颖而出,再次斩获大奖!本文将对此项目展开详细的介绍。

爱迪生奖是阿里测试技术领域的最高奖项,奖励在测试领域有卓越表现和突出贡献的技术团队。

去年第四届爱迪生大奖中,淘系技术部——技术质量团队斩获了大赛冠军

今年的5月21日,第五届阿里巴巴测试爱迪生大赛颁奖典礼正式举行,经过一整天紧张激烈的评比,淘系技术技术质量团队最终凭借《客户端体验分级之统一降级》在29个项目脱颖而出,再次斩获大奖!本文将对此项目展开详细的介绍。

屏幕快照 2020-06-11 下午5.56.13.png

背景

不知你是否遇到过如下情况:一个团队辛苦做了半年的业务,大促期间是最好的验证机会,但业务被评估内存高风险高,被迫提前关闭;专门为大促准备的活动,业务同学摩拳擦掌等拿结果,上线后由于某部分有问题导致整个业务下线,这些显然与我们业务先赢的愿景是背离的。或是上线后引发崩溃但是却因种种原因只能硬抗,这带给用户的感受显然与阿里用户第一的原则是不符的。

业务是必须要尝试新玩法的,这是发展的基础,近几年像多媒体、AR、游戏、动效、端智能已经铺开了,但是用户呢,16年上市的设备与19年上市的设备同时使用,可以很明显的感受到流畅度的差距,对于依旧使用16年设备的用户来讲,手淘使用感受就是 「难用」。

使用这些难用设备的用户有多少?19年11月的一份行业分析报告中可以看出,约 60% 的国产Android用户购买的是2000元以下的设备;超过 30% 的iphone用户还在使用 5 年之前的机器,在四线城市这个数据接近 50%。

image.png

一边是一些设备性能较差的用户反馈卡顿,一边是客户端需要更炫酷的玩法去支撑业务发展。冲突出现了,比起不顾一切的上动效或是一刀切的砍玩法,显然存在一个更合理的共赢的选项:

image.png

体验分级

我们为客户端提供一套无需业务代码改动、快速生效、支持多维度筛选的通用分级降级能力。通过分级能力,高端机用户可以有更炫酷更沉浸的玩法,低端机用户可以有流畅的购物体验;通过降级能力,业务能够维持最大的可用性,将线上问题的影响面降到最低。目前统一降级已成为淘系主流业务的分级降级标准。

image.png

业务的接入非常简单清晰,在平台上进行唯一 ID 的注册,只需要填写这两项,接下来端上在进入自身逻辑之前请求客户端 SDK,客户端 SDK 会根据当前设备信息以及平台配置信息返回给业务对应的策略,业务根据策略执行对应的业务逻辑,如果业务没有特殊配置,至此基础使用部分就完成了。

image.png

统一降级

对于个性化分级/线上止血的需求,平台支持对品牌、机型、版本、系统、设备分、CPU架构、GPU分数等维度进行排列组合的灵活配置;举个真实的例子,某业务在 iphone7 ios 13 线上出现崩溃,就只需在平台上选择 iphone7 、选 ios 13、选降级,当用户设备是iphone7 ios 13时就匹配成功返回业务想走的策略了。

image.png

再走一步试试

在19年的双促实战使用中,我们通过分析数据发现一个现象,很多时候crash会聚集在某几款机型中,也就是说那几款机型以较低的用户占比贡献了较高的crash占比。

那么我们为何不再往前走一步,通过实时数据分析,给业务提供合理的推荐降级策略,联动降级平台引导业务做出投入产出比较好的决策。

智能推荐流程图:

image.png

智能推荐实际效果图:

我们通过各个业务的 crash 分布占比数据,以及手淘用户机型占比数据,进行算法模型关联,推荐给业务高投入产出比的降级列表,帮助业务做决策。

image.png

用户用脚投票才是真的好

image.png

设备评分体系18年投入使用,统一降级体系19年投入使用,截止目前手淘内的互动活动、游戏等新玩法都已接入,像闪屏、店铺等一线模块也已接入。大促主互动主会场从19年双十一开始至马上到来618分级降级全部依托统一降级能力。

使用效果举例:

问题1:双十一主互动上线后 crash 高于预期 ,迅速升为手淘 native crash的 top 1 问题

分析:通过统计数据并分析可以看出,crash主要集中在某几款机型上,有10款机型crash占比 49% ,但是该10款机型的用户占比很低。

之后决策通过统一降级能力进行止血:

  1. 针对指定机型执行降级
  2. 同时将手淘低端机分数线上抬,从 20分 抬高至 40分

效果:降级后,原10款机型crash占比从 49% 下降到 15%

降级前该crash占比总体 19.258% ,降级后该crash占比总体 8.94%。

下图 红线 为21号未降级数据,蓝线 为22号已降级数据。可见效果比较明显

1.png

问题2:321大促 ios 端店铺直播卡片发生 crash ,双端均无法上线。

分析:首先 ios 端进行降级,保证 andoroid 端正常上线有业务效果,接下来对ios进行修复后降级逐步恢复。

效果见上图:

目前手淘内的大型互动、游戏使用统一降级已成为标准,我们所见的大盘上每一个数字都是一个真实用户的感受,让用户用的舒心、让业务玩法发挥最大价值,是我们需要持续建设的部分。

CRASH 大盘上每一个数字都是一个真实用户的感受,每次一分级处理都是对业务和用户共同的保护。

image.png

One More Thing

我们是淘系技术质量团队,负责保障整个淘宝和天猫主站的业务质量,这里有丰富多样的业务场景和技术挑战,我们将持续建设及完善整个淘系稳定性、提升用户体验。
📮如果您有兴趣可将简历发至:hane.yjr@alibaba-inc.com,期待您的加入~

关注「淘系技术」微信公众号,一个有温度有内容的技术社区~
image.png

相关文章
|
12天前
|
人工智能 搜索推荐 Serverless
使用金庸的著作,来测试阿里通义千问最新开放的长文档处理功能
使用金庸的著作,来测试阿里通义千问最新开放的长文档处理功能
28 7
使用金庸的著作,来测试阿里通义千问最新开放的长文档处理功能
|
1月前
|
缓存 运维 容灾
入行5年,谈谈我在阿里做测试开发的经验
作者在阿里一直从事测试开发相关工作,这几年学习很多、收获很多,作者希望给还在该方向摸爬滚打的同学一些启发和方向。
101 1
|
4月前
|
人工智能 缓存 并行计算
技术改变AI发展:Ada Lovelace架构解读及RTX 4090性能测试分析(系列三)
简介:随着人工智能(AI)的迅速发展,越来越多的应用需要巨大的GPU计算资源。Ada lovelace(后面简称Ada)是NVIDIA最新的图形处理器架构,随2022年9月20日发布的RTX 4090一起公布。
135314 10
技术改变AI发展:Ada Lovelace架构解读及RTX 4090性能测试分析(系列三)
|
3月前
|
运维 负载均衡 网络协议
函数计算FC报错问题之测试报错如何解决
函数计算(Function Compute,FC)是一个事件驱动的全托管计算服务,允许用户编写并上传代码,而无需管理服务器运行和维护;在使用过程中,可能会遇到各种报错,本合集聚焦于函数计算FC常见的报错问题,提供一系列的故障排查指导和解决建议,帮助用户优化云端函数执行
67 2
|
25天前
|
安全 测试技术
现代软件测试中的自动化技术应用及挑战
在当今数字化时代,软件测试的重要性日益凸显。本文探讨了现代软件测试中自动化技术的应用现状和挑战,分析了自动化测试在提高效率、降低成本、增强可靠性等方面的优势,同时也提出了自动化测试所面临的挑战和解决方案。
|
24天前
|
人工智能 测试技术 虚拟化
现代软件测试中的自动化工具与技术
随着信息技术的迅猛发展,现代软件开发和测试领域也在不断创新。本文将探讨现代软件测试中自动化工具与技术的应用。通过分析自动化测试的优势、挑战以及最佳实践,帮助读者更好地理解当前软件测试领域的发展趋势,并为实际工作提供参考。
16 1
|
25天前
|
敏捷开发 供应链 测试技术
深入理解与应用软件测试中的Mock技术
【2月更文挑战第30天】 在现代软件开发过程中,单元测试是保证代码质量的重要手段。然而,对于高度依赖外部系统或服务的应用来说,传统的单元测试方法往往难以实施。Mock技术应运而生,它通过模拟外部依赖的响应,使开发者可以在隔离的环境中测试目标代码。本文将探讨Mock技术的概念、应用场景以及如何在软件测试中有效地使用Mock对象,以增强测试的灵活性和可靠性。
|
2月前
|
调度
【技术探讨】无线通信模块拉距测试,是否一定要带笔记本电脑?
对于Sub-G的无线模块通常通信距离较远可以达到公里级甚至数公里之远,而笔记本的续航时间通常是2-3个小时,很多用户测试到一半,不得不提前终止测试,回去给笔记本电脑充电
|
2月前
|
人工智能 测试技术 API
你知道哪些新兴的测试技术?
你知道哪些新兴的测试技术?
|
3月前
|
安全 测试技术 数据库
常见测试技术都有哪些?
常见测试技术都有哪些?

热门文章

最新文章