性能测试需求指标分析方法

简介:
六、设计测试模型
  1.业务模型的设计
  一个系统的业务模型是通过业务调研获得,业务模型的正确性反映在两个方面首先业务选择的正确性和业务比例的正确性。
  首先业务选择,一个系统可能支持几百个业务活动(也有叫做交易)但是只有少数的业务活动非常频繁,占总业务量的80%以上,那么在性能测试时只需关心这些占了大部分业务量的少量业务上。
  其次业务比例,如何精确统计业务的数量是关键问题,针对一个全新的系统可能要通过对使用系统的涉众进行调研,搞清楚他们群体数量,操作行为周期。在通过组合这些数据确定在常规业务日中各种业务占总业务的比率,同时也要考虑特殊交易日的情况,
  例如某一个商务活动或周期性的业务结算日等都是特殊交易日,在特殊交易日时某一类业务量可能突然增高很多那么在常规业务日的业务比例就不再合适,这点在业务模型上要进行区分。常规业务模型用来测试系统容量,特殊日业务模型要单独做压力负载测试场景。
  对于已上线运营的系统做业务模型的调研相对简单,不再需要去调研那么多的涉众,只需与运营维护部门进行协调,由他们协助测试需求调研人员提取系统中的历史数据就可以,那么在数据选择上要有些规则,要选取相对长时期的数据比如几个月,有条件的选取一年数据,取一年中每月平均业务量,选取年度高峰月业务数据,选取月度高峰日业务数据。
   2.测试模型
  业务模型是根据系统运营真实数据得来的,真实反映系统运营的业务状况。测试模型是以业务模型为基础根据测试需求不同对业务模型调整或不调整纳入到测试场景中直接使用。
  七、性能指标分析方法
  1.性能测试指标
  业务处理能力:每秒处理交易数量
  业务响应性:每种业务执行响应时间
  业务正确率:执行过程中通过事务占总业务比例
  系统资源指标:系统资源占用率
   2.业务处理能力
  业务处理能力是评测系统每秒所能处理的最大业务量,单位是Transaction/sec
  计算每秒处理业务量需要两个关键数据,一个是在指定时间内的指定业务量,二是指定的时间段。如何选择这两个数据是非常关键。通常业务调研阶段给的每天平均业务量或者某高峰日最大业务量。如何转换数据为每秒业务量,通常有算法:
  28规则,这是比较常用的计算方法
  例如:一个系统日交易高峰某100000笔交易,系统每天运营8个小时
  那么计算规则是 100000笔*80% / (8*3600*20%) =14笔/秒   一、概述
  本文目的是提供 性能测试分析人员在测试需求分析阶段提供技术指导作用,指导其对采集的业务数据进行整理并转换为合理的项目性能需求指标,并提供测试执行人员在执行过程中以此为目标。
   二、名词解释
  ·  业务模型:描述业务系统在运营过程中核心交易配比(通常采集80%业务量的交易作为参考)清晰描述每个交易在系统业务量中的比例
  ·  测试模型:在测试执行时采用的交易配比模型。
   三、数据源分析
  ·  线上业务数据
  ·  运维数情况数据
  ·  未来业务增长数据
   四、 输出描述
  1.测试需求分析报告中要清晰描述本次测试要进行哪几种类型的测试。例如容量测试、稳定性测试、异常测试、速度测试、负载测试等
  2.测试需求分析报告中要清晰描述测试模型情况,测试模型和业务模型是有区别的,业务模型是从线上业务实际情况统计得来的,统计的数据是真实的线上数据,因此业务模型是线上交易分布的真实展现。测试模型是以业务模型为依据并结合测试需要对业务模型进行调整。例如需要调高某一类交易所占比例来实现测试目的。
  3.测试需求分析报告中要清晰描述测试指标,测试指标是用来评价一个系统是否满足性能需求的标准,测试指标包括系统响应性、系统可用性、系统资源占用率。
   五、测试类型选择
  1.常见性能测试类型


    2、被测试系统背景分类



 3、系统与测试类型MAP
六、设计测试模型
  1.业务模型的设计
  一个系统的业务模型是通过业务调研获得,业务模型的正确性反映在两个方面首先业务选择的正确性和业务比例的正确性。
  首先业务选择,一个系统可能支持几百个业务活动(也有叫做交易)但是只有少数的业务活动非常频繁,占总业务量的80%以上,那么在性能测试时只需关心这些占了大部分业务量的少量业务上。
  其次业务比例,如何精确统计业务的数量是关键问题,针对一个全新的系统可能要通过对使用系统的涉众进行调研,搞清楚他们群体数量,操作行为周期。在通过组合这些数据确定在常规业务日中各种业务占总业务的比率,同时也要考虑特殊交易日的情况,
  例如某一个商务活动或周期性的业务结算日等都是特殊交易日,在特殊交易日时某一类业务量可能突然增高很多那么在常规业务日的业务比例就不再合适,这点在业务模型上要进行区分。常规业务模型用来测试系统容量,特殊日业务模型要单独做压力负载测试场景。
  对于已上线运营的系统做业务模型的调研相对简单,不再需要去调研那么多的涉众,只需与运营维护部门进行协调,由他们协助测试需求调研人员提取系统中的历史数据就可以,那么在数据选择上要有些规则,要选取相对长时期的数据比如几个月,有条件的选取一年数据,取一年中每月平均业务量,选取年度高峰月业务数据,选取月度高峰日业务数据。
   2.测试模型
  业务模型是根据系统运营真实数据得来的,真实反映系统运营的业务状况。测试模型是以业务模型为基础根据测试需求不同对业务模型调整或不调整纳入到测试场景中直接使用。
  七、性能指标分析方法
  1.性能测试指标
  业务处理能力:每秒处理交易数量
  业务响应性:每种业务执行响应时间
  业务正确率:执行过程中通过事务占总业务比例
  系统资源指标:系统资源占用率
   2.业务处理能力
  业务处理能力是评测系统每秒所能处理的最大业务量,单位是Transaction/sec
  计算每秒处理业务量需要两个关键数据,一个是在指定时间内的指定业务量,二是指定的时间段。如何选择这两个数据是非常关键。通常业务调研阶段给的每天平均业务量或者某高峰日最大业务量。如何转换数据为每秒业务量,通常有算法:
  28规则,这是比较常用的计算方法
  例如:一个系统日交易高峰某100000笔交易,系统每天运营8个小时
  那么计算规则是 100000笔*80% / (8*3600*20%) =14笔/秒

最新内容请见作者的GitHub页:http://qaseven.github.io/

相关文章
|
数据采集 监控 机器人
浅谈网页端IM技术及相关测试方法实践(包括WebSocket性能测试)
最开始转转的客服系统体系如IM、工单以及机器人等都是使用第三方的产品。但第三方产品对于转转的业务,以及客服的效率等都产生了诸多限制,所以我们决定自研替换第三方系统。下面主要分享一下网页端IM技术及相关测试方法,我们先从了解IM系统和WebSocket开始。
396 4
|
6月前
|
测试技术 开发者 Python
Python单元测试入门:3个核心断言方法,帮你快速定位代码bug
本文介绍Python单元测试基础,详解`unittest`框架中的三大核心断言方法:`assertEqual`验证值相等,`assertTrue`和`assertFalse`判断条件真假。通过实例演示其用法,帮助开发者自动化检测代码逻辑,提升测试效率与可靠性。
506 1
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
如何让AI更“聪明”?VLM模型的优化策略与测试方法全解析​
本文系统解析视觉语言模型(VLM)的核心机制、推理优化、评测方法与挑战。涵盖多模态对齐、KV Cache优化、性能测试及主流基准,助你全面掌握VLM技术前沿。建议点赞收藏,深入学习。
1800 8
|
6月前
|
缓存 前端开发 JavaScript
性能测试指标拟定参考
本文介绍性能测试关键指标与实施要点,涵盖用户数、业务量、核心场景及性能指标(如TPS、响应时间、波动率)的调查方法,指导如何科学评估系统处理能力与稳定性。
|
9月前
|
测试技术
软考软件评测师——可靠性测试测试方法
软件可靠性是指软件在规定条件和时间内完成预定功能的能力,受运行环境、软件规模、内部结构、开发方法及可靠性投入等因素影响。失效概率指软件运行中出现失效的可能性,可靠度为不发生失效的概率,平均无失效时间(MTTF)体现软件可靠程度。案例分析显示,嵌入式软件需满足高可靠性要求,如机载软件的可靠度需达99.99%以上,通过定量指标评估其是否达标。
|
9月前
|
消息中间件 缓存 监控
性能测试怎么做?方法、流程与核心要点解析
本文系统阐述了性能测试的核心方法论、实施流程、问题定位优化及报告编写规范。涵盖五大测试类型(负载验证、极限压力、基准比对、持续稳定性、弹性扩展)与七项关键指标,详解各阶段任务如需求分析、场景设计和环境搭建,并提供常见瓶颈识别与优化实战案例。最后规范测试报告内容框架与数据可视化建议,为企业级实践提出建立基线库、自动化回归和全链路压测体系等建议,助力高效开展性能测试工作。
|
编解码 缓存 Prometheus
「ximagine」业余爱好者的非专业显示器测试流程规范,同时也是本账号输出内容的数据来源!如何测试显示器?荒岛整理总结出多种测试方法和注意事项,以及粗浅的原理解析!
本期内容为「ximagine」频道《显示器测试流程》的规范及标准,我们主要使用Calman、DisplayCAL、i1Profiler等软件及CA410、Spyder X、i1Pro 2等设备,是我们目前制作内容数据的重要来源,我们深知所做的仍是比较表面的活儿,和工程师、科研人员相比有着不小的差距,测试并不复杂,但是相当繁琐,收集整理测试无不花费大量时间精力,内容不完善或者有错误的地方,希望大佬指出我们好改进!
919 16
「ximagine」业余爱好者的非专业显示器测试流程规范,同时也是本账号输出内容的数据来源!如何测试显示器?荒岛整理总结出多种测试方法和注意事项,以及粗浅的原理解析!
|
人工智能 自然语言处理 测试技术
AxBench:斯坦福大学推出评估语言模型控制方法的基准测试框架
AxBench 是由斯坦福大学推出,用于评估语言模型可解释性方法的基准测试框架,支持概念检测和模型转向任务,帮助研究者系统地比较不同控制技术的有效性。
355 5
AxBench:斯坦福大学推出评估语言模型控制方法的基准测试框架
|
机器学习/深度学习 人工智能 自然语言处理
MarS:微软开源金融市场模拟预测引擎,支持策略测试、风险管理和市场分析
MarS 是微软亚洲研究院推出的金融市场模拟预测引擎,基于生成型基础模型 LMM,支持无风险环境下的交易策略测试、风险管理和市场分析。
554 8
MarS:微软开源金融市场模拟预测引擎,支持策略测试、风险管理和市场分析