性能测试评测方法

本文涉及的产品
性能测试 PTS,5000VUM额度
简介:

基础性能评测

1.制定性能基线

基于滴滴其他业务线团队已有的性能经验作为参考依据,如附录1

2.确立性能场景

根据用户行为分析高频重要场景,整体性能时间在20-30分钟,每隔场景的路径不宜过长

3.性能测试方法

使用滴滴内部自研的性能工具ET、哆啦A梦(或GT)获取性能数据

4.生成测试报告

根据操作具体场景获取到的性能数据,DMTC对测试数据进行统计和分析,与制定的基线指标结合给出测试结论或者评分,最后通过报告形式展示在Web端


App性能测试是通过测试工具获取App运行过程中的各项指标数据,然后取平均值,最大值,最小值等统计值作为结果分析。

 但基础性能评测只是从统计学的角度来评测App的性能,力度略粗,具体影响性能的问题点并没有暴露出来。

深度性能评测

1.内存泄漏分析

引入LeakCanary,结合自动化测试进行页面的跳转,同时上报泄漏信息。

2.卡顿分析

在App代码中引入BlockCanary工具,使用自动化进行页面测试,收集卡顿信息,并上报到DMTC,生成报告。


附录1 

性能测试初步检查项和标准如下:

指标 测试原则 检查项 优先级 Android测试方法 iOS测试方法 备注
流量 1. 资源无重复拉取
2. 资源合理缓存和压缩
3. 业务和流量寻求平衡
是否存在资源的重复拉取 P0 1. 使用ET关注实时流量
2.发现流量异常点,使用Charles抓包查看细节
3.H5页面使用Chrome开发者工具定位

1. 使用GT关注业务场景流量,和历史进行场景对比

2.使用Charles抓包查看细节,发现流量异常点
3.H5页面使用Chrome开发者工具定位

 
图片大小是否合适(单张Banner大图片小于100K,头像等小于10K) P0
合理缓存(包含H5页面),非首次时流量大幅降低 P0
H5页面中js/css/html代码需要进行压缩和缓存 P1
CPU CPU无长时间占用,正常回落 手机灭屏1min后,CPU占用低于2% P0 1.使用ET关注实时CPU占用
2.发现CPU异常点,使用DDMS工具Threads,TraceView定位
3.后台CPU可以使用命令top -d 1 |grep psnger进行监测

1.使用GT关注实时CPU占用,和历史进行场景对比

2.当发现CPU异常时,可以使用Instruments中的Time Profiler进行耗时方法定位

滴滴有部分场景确实有CPU持续占用,如订单进行中时实时上报位置,当有异议时需和开发确认是否必须如此
应用置于后台1min后,CPU占用低于2% P0
手机前台运行,CPU占用是否超20%占用持续10s P1
手机前台运行,CPU占用是否瞬时超过50% P1
内存 1.无内存泄漏
2.无内存陡增
主功能页面反复进出,内存无泄漏 P0 1.使用ET关注实时PSS内存使用
2.发现疑似性能点后,使用DDMS 抓取hprof文件,使用Mat工具分析
3.可以借助dumpsys meminfo packagename查看内存具体分布

1.使用GT关注实时内存使用,和历史版本数据进行场景对比;

2.使用appconsole,Leaks,Allocation等工具检查和定位内存泄漏;

滴滴Android debug包上有LeakCanary组件可以直接监测内存泄漏,需要遍历主要页面。
进入新页面,内存增量小于20M P1
电量 1.减少无端电量消耗 灭屏静置一会,后台无线程持续运行 P1 1.使用CPU监测方法监测线程活动
2.使用Android5.0 工具 Battery-Historian分析灭屏电量
1.使用GT+系统耗电量排行的方式测试耗电量,和历史版本进行对比; 数据需要和历史对比,和竞品对比
版本间电量无比较大增长(需建立基线数据),如大于20% P0
流畅度 1.页面滑动流畅
2.操作无明显卡顿
1.在主要列表页滑动,监测FPS或者SM大于45 P0 1.使用ET进行流畅度监测,发现疑似点后使用TraceView或SysTrace进行定位
2.4.2及以上系统开发者模式-调试GPU过度绘制打开,查看过渡绘制情况

1.使用GT进行流畅度监测;
2.使用appconsole检查卡顿;

3.使用Core Animation进行FPS测试

4.当发现卡顿时使用Time Profiler定位

 
2.查看页面过渡绘制,无大片红色区域 P0
加载时间 1.页面打开流畅,无白屏或长时间转圈等待 应用冷启动时长小于3s P0 1.使用ET工具或使用命令 logcat -b event | grep am_activity_launch_time实时监测加载时间
2.发现时间较长的页面,使用TraceView工具定位
录屏或者掐表方式进行  
应用热启动时长小于1s P0
首次进入Native页面时长小于1000ms(Wifi) P0
首次进入H5页面时长小于2000ms(Wifi) P1

 


相关实践学习
通过性能测试PTS对云服务器ECS进行规格选择与性能压测
本文为您介绍如何利用性能测试PTS对云服务器ECS进行规格选择与性能压测。
相关文章
|
7天前
|
SQL Java 测试技术
SpringBoot单元测试快速写法问题之PorkService 接口中的 getPork 方法的作用如何解决
SpringBoot单元测试快速写法问题之PorkService 接口中的 getPork 方法的作用如何解决
|
25天前
|
敏捷开发 测试技术 持续交付
软件测试中的探索性测试方法及其重要性
【8月更文挑战第6天】在软件开发周期中,测试环节是不可或缺的。它确保了产品的质量、性能与可靠性。然而,传统的测试方法往往侧重于预设的测试用例和场景,可能忽略了用户实际使用过程中的非预期行为。探索性测试(ET)应运而生,它强调测试人员的自主性和创造性,通过不断学习和适应来发现软件的潜在缺陷。本文将探讨探索性测试的概念、实施策略及其在现代软件开发中的重要性。
|
23天前
|
SQL 安全 测试技术
[go 面试] 接口测试的方法与技巧
[go 面试] 接口测试的方法与技巧
|
26天前
|
测试技术 持续交付
探索式测试:一种灵活的软件质量保证方法
在软件测试领域,探索式测试是一种与传统脚本测试截然不同的方法。它强调测试人员的自主性与创造性,允许他们在执行测试时即时设计和执行测试用例。这种方法的灵活性和适应性使其成为发现复杂软件系统中难以预测的错误的有效手段。本文将深入探讨探索式测试的核心概念、实施策略以及它在现代软件开发生命周期中的价值。
36 4
|
26天前
|
敏捷开发 测试技术
探索式测试:一种高效灵活的质量保证方法
在软件生命周期中,确保产品质量是至关重要的一环。传统的测试方法往往依赖于预设的测试用例,而忽视了测试过程中的灵活性和创造性。本文将介绍一种与传统测试截然不同的方法—探索式测试,它强调个人技能与经验的应用,鼓励测试人员发挥主观能动性,通过不断探索来发现更多潜在的软件缺陷。文章将详细阐述探索式测试的核心概念、实施步骤及其在现代软件开发中的实际应用案例,旨在为读者提供一种更为高效和灵活的测试策略。
|
2月前
|
测试技术
软件测试中的探索性测试方法
在软件开发周期中,测试环节扮演着至关重要的角色。本文将深入探讨一种灵活而高效的测试方法——探索性测试。我们将通过具体实例分析其实施过程,并讨论如何通过这种方法提高软件质量和测试效率。最后,我们提出一个开放性问题,邀请读者思考探索性测试在他们工作中的实际应用和潜在价值。 【7月更文挑战第31天】
|
2月前
|
敏捷开发 测试技术
软件测试中的探索性测试:一种灵活的质量保证方法
在软件开发周期中,测试是确保产品质量的关键步骤。传统的测试方法往往依赖于事先定义好的测试用例,但这种方法可能无法覆盖所有潜在的缺陷和场景。探索性测试(ET)作为一种更为灵活的测试方式,允许测试人员在执行测试的同时设计和适应测试用例,从而提高了测试覆盖率并发现更多隐藏的缺陷。本文将探讨探索性测试的核心概念、实施策略以及与传统测试方法的比较,旨在为软件测试专业人员提供一种更高效、适应性强的测试手段。
|
9天前
|
测试技术
如何使用 JUnit 测试方法是否存在异常
【8月更文挑战第22天】
10 0
|
2月前
|
敏捷开发 测试技术 持续交付
探索式测试:一种高效软件质量保证方法
在软件开发的复杂性不断增加的背景下,传统的测试方法已不能完全满足快速迭代和高质量标准的要求。探索式测试(Exploratory Testing)作为一种灵活且高效的软件测试实践,正逐渐成为质量保证过程中不可或缺的一部分。本文将深入探讨探索式测试的核心理念、实施策略以及与传统测试方法相比的优势,旨在为读者提供一套完整的探索式测试框架及其在实际项目中的应用示例。
|
2月前
|
测试技术
详解单元测试问题之MockHandlerImpl类的handle方法中VerificationMode不为空如何解决
详解单元测试问题之MockHandlerImpl类的handle方法中VerificationMode不为空如何解决
32 3

热门文章

最新文章

下一篇
云函数