本篇文章浅谈如何进行测试缺陷分析和质量报告分析。
背景
如同代码是程序员的成果之一,测试报告和质量报告是测试人员的主要成果之一。对于一个测试,在测试项目结束时需要对测试过程中的典型bug、常出现bug进行bugreview;对bug修复周期、bug趋势进行总结分析;通过以上bug的分析以及测试过程中出现的任何问题进行总结形成质量报告,不仅仅对过去项目产品质量进行准确的评估,还需要对未来项目在质量方面的改进点和方向提出建议,以对产品质量进行不断改进和完善
缺陷分析
1、bugreview:代码引入原因分析
对产品测试周期提出的典型bug,常见bug进行bugreview,对该bug从引入原因(Root Cause)、引入方、避免措施、问题类型、代码修改量5个维度进行深入分析
2、缺陷分布报告
通过缺陷数量或在模块的分布情况,可以掌握程序代码的质量,如通过对每千行代码所含的Bug数分析,了解程序代码质量。
允许将缺陷计数作为一个或多个缺陷参数的函数来显示,生成缺陷数量与缺陷属性的函数,如缺陷在程序模块的横向分布、严重性缺陷在不同的产生原因上的分布等。
3、缺陷修复周期分析
通过缺陷(每日或每周修正/关闭的缺陷)趋势分析,按各种状态将缺陷计数作为时间的函数显示,如缺陷数量在整个测试周期的时间分布。分析开发团队修复Bug的效率或状态
4、缺陷趋势分析
缺陷趋势可以是每日新增(new)、每日关闭(closed)、累计活跃的(all-active),累计关闭(all-closed)、bug总数的,通过分析缺陷增长和减少的趋势,分析来了解测试的效率和开发修复bug的效率、测试瓶颈、测试延期原因、测试生命周期等。
(1)其中每日新增(new)趋势分析来了解测试的效率,正常看,提测准入通过的1-2天后每日新增应该在一个高峰值,总体呈下降趋势,最后趋向于0。整个测试周期,80%+的bug发现在测试周期中前期,测试后期甚至回归测试的bug新增数趋于平稳到0,可以说明测试效率是比较高的,测试质量较高,且开发修复bug新引入bug的概率是比较小的
(2)每日关闭(closed)趋势反映了开发对bug处理响应快,修复bug效率高,累计活跃的(all-active)bug得到收敛
(3)如果新建的bug越来越少,但关闭的bug曲线一直在打开bug下面,说明,瓶颈在研发那边,他修改bug的效率过低
(4)bug总数曲线和累计关闭(all-closed)应该呈对数曲线,坡度应当逐渐变缓,最后无限接近并且重合
(5)如果累计活跃的(all-active)bug上升的坡度一直很陡,说明整个团队中,bug的平均生命周期长,越平滑越好。
5、测试结果进度报告
根据测试用例case数、bug数、用例fail比例统计测试覆盖率、测试通过率
项目总体质量分析
通过对根本原因(Root Cause)、bug类型分类统计、bug趋势分析、各方测试阻塞时间统计(找出延期原因)、反复打开bug占比、各方引入bug数占比、严重bug占比统计等进行深入分析,对测试的结果进行整理、归纳和分析,以直方图、圆饼图、趋势图形式来进行分析和表示,给出自己对整个项目质量改进的建议和落地方案