性能测试需求指标分析方法

本文涉及的产品
性能测试 PTS,5000VUM额度
简介:
六、设计测试模型
  1.业务模型的设计
  一个系统的业务模型是通过业务调研获得,业务模型的正确性反映在两个方面首先业务选择的正确性和业务比例的正确性。
  首先业务选择,一个系统可能支持几百个业务活动(也有叫做交易)但是只有少数的业务活动非常频繁,占总业务量的80%以上,那么在性能测试时只需关心这些占了大部分业务量的少量业务上。
  其次业务比例,如何精确统计业务的数量是关键问题,针对一个全新的系统可能要通过对使用系统的涉众进行调研,搞清楚他们群体数量,操作行为周期。在通过组合这些数据确定在常规业务日中各种业务占总业务的比率,同时也要考虑特殊交易日的情况,
  例如某一个商务活动或周期性的业务结算日等都是特殊交易日,在特殊交易日时某一类业务量可能突然增高很多那么在常规业务日的业务比例就不再合适,这点在业务模型上要进行区分。常规业务模型用来测试系统容量,特殊日业务模型要单独做压力负载测试场景。
  对于已上线运营的系统做业务模型的调研相对简单,不再需要去调研那么多的涉众,只需与运营维护部门进行协调,由他们协助测试需求调研人员提取系统中的历史数据就可以,那么在数据选择上要有些规则,要选取相对长时期的数据比如几个月,有条件的选取一年数据,取一年中每月平均业务量,选取年度高峰月业务数据,选取月度高峰日业务数据。
   2.测试模型
  业务模型是根据系统运营真实数据得来的,真实反映系统运营的业务状况。测试模型是以业务模型为基础根据测试需求不同对业务模型调整或不调整纳入到测试场景中直接使用。
  七、性能指标分析方法
  1.性能测试指标
  业务处理能力:每秒处理交易数量
  业务响应性:每种业务执行响应时间
  业务正确率:执行过程中通过事务占总业务比例
  系统资源指标:系统资源占用率
   2.业务处理能力
  业务处理能力是评测系统每秒所能处理的最大业务量,单位是Transaction/sec
  计算每秒处理业务量需要两个关键数据,一个是在指定时间内的指定业务量,二是指定的时间段。如何选择这两个数据是非常关键。通常业务调研阶段给的每天平均业务量或者某高峰日最大业务量。如何转换数据为每秒业务量,通常有算法:
  28规则,这是比较常用的计算方法
  例如:一个系统日交易高峰某100000笔交易,系统每天运营8个小时
  那么计算规则是 100000笔*80% / (8*3600*20%) =14笔/秒   一、概述
  本文目的是提供 性能测试分析人员在测试需求分析阶段提供技术指导作用,指导其对采集的业务数据进行整理并转换为合理的项目性能需求指标,并提供测试执行人员在执行过程中以此为目标。
   二、名词解释
  ·  业务模型:描述业务系统在运营过程中核心交易配比(通常采集80%业务量的交易作为参考)清晰描述每个交易在系统业务量中的比例
  ·  测试模型:在测试执行时采用的交易配比模型。
   三、数据源分析
  ·  线上业务数据
  ·  运维数情况数据
  ·  未来业务增长数据
   四、 输出描述
  1.测试需求分析报告中要清晰描述本次测试要进行哪几种类型的测试。例如容量测试、稳定性测试、异常测试、速度测试、负载测试等
  2.测试需求分析报告中要清晰描述测试模型情况,测试模型和业务模型是有区别的,业务模型是从线上业务实际情况统计得来的,统计的数据是真实的线上数据,因此业务模型是线上交易分布的真实展现。测试模型是以业务模型为依据并结合测试需要对业务模型进行调整。例如需要调高某一类交易所占比例来实现测试目的。
  3.测试需求分析报告中要清晰描述测试指标,测试指标是用来评价一个系统是否满足性能需求的标准,测试指标包括系统响应性、系统可用性、系统资源占用率。
   五、测试类型选择
  1.常见性能测试类型


    2、被测试系统背景分类



 3、系统与测试类型MAP
六、设计测试模型
  1.业务模型的设计
  一个系统的业务模型是通过业务调研获得,业务模型的正确性反映在两个方面首先业务选择的正确性和业务比例的正确性。
  首先业务选择,一个系统可能支持几百个业务活动(也有叫做交易)但是只有少数的业务活动非常频繁,占总业务量的80%以上,那么在性能测试时只需关心这些占了大部分业务量的少量业务上。
  其次业务比例,如何精确统计业务的数量是关键问题,针对一个全新的系统可能要通过对使用系统的涉众进行调研,搞清楚他们群体数量,操作行为周期。在通过组合这些数据确定在常规业务日中各种业务占总业务的比率,同时也要考虑特殊交易日的情况,
  例如某一个商务活动或周期性的业务结算日等都是特殊交易日,在特殊交易日时某一类业务量可能突然增高很多那么在常规业务日的业务比例就不再合适,这点在业务模型上要进行区分。常规业务模型用来测试系统容量,特殊日业务模型要单独做压力负载测试场景。
  对于已上线运营的系统做业务模型的调研相对简单,不再需要去调研那么多的涉众,只需与运营维护部门进行协调,由他们协助测试需求调研人员提取系统中的历史数据就可以,那么在数据选择上要有些规则,要选取相对长时期的数据比如几个月,有条件的选取一年数据,取一年中每月平均业务量,选取年度高峰月业务数据,选取月度高峰日业务数据。
   2.测试模型
  业务模型是根据系统运营真实数据得来的,真实反映系统运营的业务状况。测试模型是以业务模型为基础根据测试需求不同对业务模型调整或不调整纳入到测试场景中直接使用。
  七、性能指标分析方法
  1.性能测试指标
  业务处理能力:每秒处理交易数量
  业务响应性:每种业务执行响应时间
  业务正确率:执行过程中通过事务占总业务比例
  系统资源指标:系统资源占用率
   2.业务处理能力
  业务处理能力是评测系统每秒所能处理的最大业务量,单位是Transaction/sec
  计算每秒处理业务量需要两个关键数据,一个是在指定时间内的指定业务量,二是指定的时间段。如何选择这两个数据是非常关键。通常业务调研阶段给的每天平均业务量或者某高峰日最大业务量。如何转换数据为每秒业务量,通常有算法:
  28规则,这是比较常用的计算方法
  例如:一个系统日交易高峰某100000笔交易,系统每天运营8个小时
  那么计算规则是 100000笔*80% / (8*3600*20%) =14笔/秒

最新内容请见作者的GitHub页:http://qaseven.github.io/

相关实践学习
通过性能测试PTS对云服务器ECS进行规格选择与性能压测
本文为您介绍如何利用性能测试PTS对云服务器ECS进行规格选择与性能压测。
相关文章
浅谈网页端IM技术及相关测试方法实践(包括WebSocket性能测试)
最开始转转的客服系统体系如IM、工单以及机器人等都是使用第三方的产品。但第三方产品对于转转的业务,以及客服的效率等都产生了诸多限制,所以我们决定自研替换第三方系统。下面主要分享一下网页端IM技术及相关测试方法,我们先从了解IM系统和WebSocket开始。
94 4
「ximagine」业余爱好者的非专业显示器测试流程规范,同时也是本账号输出内容的数据来源!如何测试显示器?荒岛整理总结出多种测试方法和注意事项,以及粗浅的原理解析!
本期内容为「ximagine」频道《显示器测试流程》的规范及标准,我们主要使用Calman、DisplayCAL、i1Profiler等软件及CA410、Spyder X、i1Pro 2等设备,是我们目前制作内容数据的重要来源,我们深知所做的仍是比较表面的活儿,和工程师、科研人员相比有着不小的差距,测试并不复杂,但是相当繁琐,收集整理测试无不花费大量时间精力,内容不完善或者有错误的地方,希望大佬指出我们好改进!
184 16
「ximagine」业余爱好者的非专业显示器测试流程规范,同时也是本账号输出内容的数据来源!如何测试显示器?荒岛整理总结出多种测试方法和注意事项,以及粗浅的原理解析!
AxBench:斯坦福大学推出评估语言模型控制方法的基准测试框架
AxBench 是由斯坦福大学推出,用于评估语言模型可解释性方法的基准测试框架,支持概念检测和模型转向任务,帮助研究者系统地比较不同控制技术的有效性。
74 5
AxBench:斯坦福大学推出评估语言模型控制方法的基准测试框架
MarS:微软开源金融市场模拟预测引擎,支持策略测试、风险管理和市场分析
MarS 是微软亚洲研究院推出的金融市场模拟预测引擎,基于生成型基础模型 LMM,支持无风险环境下的交易策略测试、风险管理和市场分析。
136 8
MarS:微软开源金融市场模拟预测引擎,支持策略测试、风险管理和市场分析
C#集合数据去重的5种方式及其性能对比测试分析
C#集合数据去重的5种方式及其性能对比测试分析
59 11
C#集合数据去重的5种方式及其性能对比测试分析
C#集合数据去重的5种方式及其性能对比测试分析
76 10
jvm-48-java 变更导致压测应用性能下降,如何分析定位原因?
【11月更文挑战第17天】当JVM相关变更导致压测应用性能下降时,可通过检查变更内容(如JVM参数、Java版本、代码变更)、收集性能监控数据(使用JVM监控工具、应用性能监控工具、系统资源监控)、分析垃圾回收情况(GC日志分析、内存泄漏检查)、分析线程和锁(线程状态分析、锁竞争分析)及分析代码执行路径(使用代码性能分析工具、代码审查)等步骤来定位和解决问题。
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法。本文介绍 A/B 测试的基本概念、步骤及其在模型评估、算法改进、特征选择和用户体验优化中的应用,同时提供 Python 实现示例,强调其在确保项目性能和用户体验方面的关键作用。
123 6
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面,旨在通过综合策略提升程序性能,满足实际需求。
126 1
TypeScript 与 Jest 测试框架的结合使用,从 TypeScript 的测试需求出发,介绍了 Jest 的特点及其与 TypeScript 结合的优势,详细讲解了基本测试步骤、常见测试场景及异步操作测试方法
本文深入探讨了 TypeScript 与 Jest 测试框架的结合使用,从 TypeScript 的测试需求出发,介绍了 Jest 的特点及其与 TypeScript 结合的优势,详细讲解了基本测试步骤、常见测试场景及异步操作测试方法,并通过实际案例展示了其在项目中的应用效果,旨在提升代码质量和开发效率。
121 6

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等