一个好的性能测试必须要有明确而且全面的性能测试指标,而性能指标的获取常常困扰测试人员,这里简单说一下我在工作中所用到的方法:
1. 有明确的性能测试需求文档
这是测试人员希望看到的,产品经理通过需求的获取(或与客户的交流)定义明确的性能指标,如:在局域网中,用户身份验证要小于2秒。当然产品经理并不一定能够面面俱到,所以测试人员需要及时介入性能测试需求文档的review,根据经验从客户的角度挖掘更多更重要的性能指标。
2. 无明确性能测试需求文档
这种情况最是困扰测试人员,一般来说,我们可以从以下途径获取性能指标:
a. 产品历史版本或相似版本的性能指标:比如可以借鉴历史版本中的用户并发指标。
b. 分析客户数据:这种情况主要是从业务层面去分析客户数据,比如同时访问的最大值,同时在线的用户数。这种分析可以为测试人员提供负载测试的基准,但是还是需要考虑之后的扩展性(比如5年后,用户大概能达到多少,系统是否能够相应)。
c. 运行基准测试:这种方式主要用在明确了负载而没有明确的指标衡量标准的情况,比如说在系统间传输N个大小为1M的消息,需要给出一个大概的传输时间。此时,我们需要运行基准测试,在没有其他外界干扰的情况下,观测传输一个1M消息文件所用的时间,以这个时间为基准来评估传输N个文件所用的时间。
d. 业界的指标:其实业界对于业务层面的指标很难做到一致,但是对于一些操作系统指标大概还是有一个标准的,比如:CPU不能持续高于90%。
e. 测试人员的经验,客户sense:这种情况也比较常见,尤其大众的产品,比如说移动应用软件,这种产品最难收集性能需求,但是另一方面,每个人又是用户,所以测试人员自己可以根据自己的感受提出相应的指标,然后汇总讨论,最终获取一些性能指标,待发布之后,如果用户再有其他的抱怨,可以修改等等。
最新内容请见作者的GitHub页:http://qaseven.github.io/