性能测试指标的获取

简介:

一个好的性能测试必须要有明确而且全面的性能测试指标,而性能指标的获取常常困扰测试人员,这里简单说一下我在工作中所用到的方法:
  1. 有明确的性能测试需求文档
  这是测试人员希望看到的,产品经理通过需求的获取(或与客户的交流)定义明确的性能指标,如:在局域网中,用户身份验证要小于2秒。当然产品经理并不一定能够面面俱到,所以测试人员需要及时介入性能测试需求文档的review,根据经验从客户的角度挖掘更多更重要的性能指标。
  2. 无明确性能测试需求文档
  这种情况最是困扰测试人员,一般来说,我们可以从以下途径获取性能指标:
  a. 产品历史版本或相似版本的性能指标:比如可以借鉴历史版本中的用户并发指标。
  b. 分析客户数据:这种情况主要是从业务层面去分析客户数据,比如同时访问的最大值,同时在线的用户数。这种分析可以为测试人员提供负载测试的基准,但是还是需要考虑之后的扩展性(比如5年后,用户大概能达到多少,系统是否能够相应)。
  c. 运行基准测试:这种方式主要用在明确了负载而没有明确的指标衡量标准的情况,比如说在系统间传输N个大小为1M的消息,需要给出一个大概的传输时间。此时,我们需要运行基准测试,在没有其他外界干扰的情况下,观测传输一个1M消息文件所用的时间,以这个时间为基准来评估传输N个文件所用的时间。
  d. 业界的指标:其实业界对于业务层面的指标很难做到一致,但是对于一些操作系统指标大概还是有一个标准的,比如:CPU不能持续高于90%。
  e. 测试人员的经验,客户sense:这种情况也比较常见,尤其大众的产品,比如说移动应用软件,这种产品最难收集性能需求,但是另一方面,每个人又是用户,所以测试人员自己可以根据自己的感受提出相应的指标,然后汇总讨论,最终获取一些性能指标,待发布之后,如果用户再有其他的抱怨,可以修改等等。

最新内容请见作者的GitHub页:http://qaseven.github.io/

相关文章
|
机器学习/深度学习 搜索推荐 算法
推荐系统离线评估方法和评估指标,以及在推荐服务器内部实现A/B测试和解决A/B测试资源紧张的方法。还介绍了如何在TensorFlow中进行模型离线评估实践。
推荐系统离线评估方法和评估指标,以及在推荐服务器内部实现A/B测试和解决A/B测试资源紧张的方法。还介绍了如何在TensorFlow中进行模型离线评估实践。
860 0
|
2月前
|
缓存 前端开发 JavaScript
性能测试指标拟定参考
本文介绍性能测试关键指标与实施要点,涵盖用户数、业务量、核心场景及性能指标(如TPS、响应时间、波动率)的调查方法,指导如何科学评估系统处理能力与稳定性。
|
JSON 数据可视化 测试技术
性能测试之Artillery(示例及指标)
性能测试之Artillery(示例及指标)
263 2
|
存储 缓存 监控
性能测试中关注的指标
性能测试关注多个层面的指标,包括系统层(CPU、内存、磁盘、网络)、中间件层(网关、数据库、缓存、MQ、分布式存储)、应用层(响应时间、吞吐量、应用资源、GC、错误信息)及业务层和发压机指标。这些指标帮助评估系统性能,识别潜在瓶颈,确保软件质量和用户体验。
851 5
|
JSON 算法 数据可视化
测试专项笔记(一): 通过算法能力接口返回的检测结果完成相关指标的计算(目标检测)
这篇文章是关于如何通过算法接口返回的目标检测结果来计算性能指标的笔记。它涵盖了任务描述、指标分析(包括TP、FP、FN、TN、精准率和召回率),接口处理,数据集处理,以及如何使用实用工具进行文件操作和数据可视化。文章还提供了一些Python代码示例,用于处理图像文件、转换数据格式以及计算目标检测的性能指标。
309 0
测试专项笔记(一): 通过算法能力接口返回的检测结果完成相关指标的计算(目标检测)
|
测试技术
单元测试策略问题之行覆盖率和分支覆盖率之间的问题如何解决
单元测试策略问题之行覆盖率和分支覆盖率之间的问题如何解决
628 7
|
Java 测试技术 Spring
单元测试策略问题之平衡单元测试和集成测试的问题如何解决
单元测试策略问题之平衡单元测试和集成测试的问题如何解决
159 2
|
测试技术 Windows
软件测试之 性能测试 性能测试基础指标 Loadrunner、Jmeter等工具(下)
软件测试之 性能测试 性能测试基础指标 Loadrunner、Jmeter等工具(下)
238 2
|
测试技术 程序员
软件测试之 性能测试 性能测试基础指标 Loadrunner、Jmeter等工具(上)
软件测试之 性能测试 性能测试基础指标 Loadrunner、Jmeter等工具(上)
291 1
|
敏捷开发 数据可视化 安全
测试度量指标
测试度量指标
348 0