聊聊自动化测试的度量指标

简介: 在聊自动化测试度量指标前,有必要回到做自动化的初衷上,就是为什么要做自动化测试,要解决什么问题。

本文是自动化测试系列的第四篇文章,这篇文章我想聊聊对自动化测试度量的一些想法。


上周末在知识星球社群的内部分享中,也有同学问了这个问题:自动化测试度量指标有哪些?各有什么价值?


脱离数据支撑谈价值有点底气不足,但脱离自动化初衷和背景谈度量指标,就南辕北辙了。


做自动化测试的目的


在聊自动化测试度量指标前,有必要回到做自动化的初衷上,就是为什么要做自动化测试,要解决什么问题。在不同公司,对不同的团队和技术同学来讲,做自动化的目的各有不同。常见的目的有下面几点:


  1. 测试数据准备耗时长,为了提升造数据的效率而做自动化测试;
  2. 项目上线之前的核心业务链路回归,为了提升回归测试效率,这也是一种上线前的check手段;
  3. 提测前为了快速验证提测质量,作为一种冒烟测试手段提升效率,同时这也是一种测试左移的实践;
  4. 团队大业务线多,通过统一框架和协作规范来提升测试团队协作效率,减少造轮子,避免资源内耗浪费;


当然还有其他目的,总结一下,做自动化测试的目的主要是降本增效。即通过技术手段,提升测试过程效率和团队协作效率,新增测试回归验证手段,降低重复性工作投入成本


基于目的制定度量指标


如上文所述,关于自动化测试的度量指标,我个人的观点是基于实际的目的出发来制定度量指标。举例:


自动化测试目的

细分类型

度量指标

如何度量

效率

造数据效率

  1. 每周造数条数
  2. 平均造数耗时
  3. 造数任务调用量

和手动造数耗时对比

冒烟测试效率

冒烟执行耗时

和手动冒烟测试耗时对比

线上回归效率

回归执行耗时

和手动回归测试耗时对比

覆盖率

接口覆盖率

  1. P0/P1接口覆盖率
  2. 总体接口覆盖率

梳理核心接口,投入最多资源精力

用例覆盖率

  1. P0case覆盖率
  2. P1case覆盖率

梳理核心case,投入最多资源精力

业务场景覆盖率

  1. 正向场景覆盖率
  2. 逆向场景覆盖率
  3. 核心场景覆盖率

根据业务场景,case by case度量

过程质量

构建执行成功率

自动化任务执行成功率

低于某个阈值判定脚本质量不通过

用例执行通过率

自动化case执行成功率

低于某个阈值判定提测质量不通过


制定度量指标要注意的


制定度量指标时,建议遵循和考量如下几点:


  1. 切忌面向指标/面向KPI做度量;
  2. 考虑到冗余成本,指标不宜过多;
  3. 制定指标是为了提升质量,而非做数据;
  4. 根据做自动化测试的目的来制定度量指标;
  5. 度量指标对比应该以是否解决了痛点为依据;
  6. 度量指标是辅助评估依据,并不是唯一正确的结果;
  7. 制定指标应考虑到哪些指标更实际有效,从解决问题角度出发;
  8. 度量指标不要单一的评估,应结合多个维度来综合评估开展质量度量;
相关文章
|
6天前
|
机器学习/深度学习 搜索推荐 算法
推荐系统离线评估方法和评估指标,以及在推荐服务器内部实现A/B测试和解决A/B测试资源紧张的方法。还介绍了如何在TensorFlow中进行模型离线评估实践。
推荐系统离线评估方法和评估指标,以及在推荐服务器内部实现A/B测试和解决A/B测试资源紧张的方法。还介绍了如何在TensorFlow中进行模型离线评估实践。
209 0
|
6天前
|
JSON 数据可视化 测试技术
性能测试之Artillery(示例及指标)
性能测试之Artillery(示例及指标)
20 2
|
6天前
|
敏捷开发 数据可视化 安全
测试度量指标
测试度量指标
|
6天前
|
敏捷开发 自然语言处理 数据可视化
敏捷测试度量指标
敏捷测试度量指标
|
6天前
|
XML 安全 JavaScript
常见性能测试指标
常见性能测试指标
|
8月前
|
测试技术 数据库
接口并发性能测试开发之:从测试方案设计、测试策略、指标分析到代码编写,这一篇全搞定。
接口并发性能测试开发之:从测试方案设计、测试策略、指标分析到代码编写,这一篇全搞定。
170 0
EMQ
|
10月前
|
消息中间件 监控 网络协议
MQTT 性能测试入门:常见测试场景和指标
探讨常见的测试场景和用于评估MQTT Broker性能的关键指标。通过这些技术和见解,优化您的系统可靠性和物联网基础设施。
EMQ
378 0
MQTT 性能测试入门:常见测试场景和指标
|
运维 监控 测试技术
|
6天前
|
机器学习/深度学习 数据采集 人工智能
【专栏】AI在软件测试中的应用,如自动执行测试用例、识别缺陷和优化测试设计
【4月更文挑战第27天】本文探讨了AI在软件测试中的应用,如自动执行测试用例、识别缺陷和优化测试设计。AI辅助工具利用机器学习、自然语言处理和图像识别提高效率,但面临数据质量、模型解释性、维护更新及安全性挑战。未来,AI将更注重用户体验,提升透明度,并在保护隐私的同时,通过联邦学习等技术共享知识。AI在软件测试领域的前景广阔,但需解决现有挑战。
|
5天前
|
测试技术
如何管理测试用例?测试用例有什么管理工具?YesDev
该文档介绍了测试用例和测试用例库的管理。测试用例是描述软件测试方案的详细步骤,包括测试目标、环境、输入、步骤和预期结果。测试用例库用于组织和管理这些用例,强调简洁性、完整性和可维护性。管理者可以创建、删除、重命名用例库,搜索和管理用例,以及通过层级目录结构来组织用例。此外,还支持通过Excel导入和导出测试用例,以及使用脑图查看用例关系。后台管理允许配置全局别名,如用例状态、优先级和执行结果。

热门文章

最新文章