一、软件测试的生命周期(重点)
软件测试的生命周期:
需求分析(需求是否完整、正确)
→ 测试计划(确定软件由谁测试,测试的开始和结束时间,测试哪些模块)
→ 测试设计、测试开发(写测试用例,包括手工测试用例和自动化测试用例,编写测试工具)
→ 测试执行(执行测试用例)
→ 测试评估(测试人员需要产生测试报告)
1、软件测试 & 软件开发生命周期
(1)需求阶段
测试人员了解需求、对需求进行分解,得出测试需求。
(2)计划阶段
根据需求编写测试计划 / 测试方案。
(3)设计阶段
测试人员适当的了解设计,对于设计测试用例是很有帮助的,测试人员搭建测试用例框架,根据需求和设计编写一部分测试用例。
(4)编码阶段
测试人员一般是不需要编码的,但已经编码的模块,专业的白盒测试人员可以计划执行单元测试,完善、细化测试用例以及调整测试计划和方案。
(5)测试阶段
测试阶段是软件测试人员最为重要的工作阶段,根据测试用例和计划执行测试,在执行的过程中记录、管理缺陷,测试完成后编写测试报告。
(6)运行维护
测试人员需要参与项目的实施工作。测试人员对项目产品的业务和操作非常了解,加上测试人员的沟通表达能力一般都比较强,所以测试人员可以参与用户使用软件的培训,在试运行项目时收集问题并及时反馈给相关负责人。
二、如何描述一个 bug(重点)
一个合格的 bug 描述应该包括以下几个部分:
1、发现问题的版本
开发人员需要知道出现问题的版本,才能够获取对应版本的代码来重现故障。并且版本的标识也有利于统计和分析每个版本的质量。
2、问题出现的环境
环境分为硬件环境和软件环境,如果是 web 项目,需要描述浏览器版本,客户机操作系统等,如果是 app 项目,需要描述机型、分辨率、操作系统版本等。详细的环境描述有利于故障的定位。
3、错误重现的步骤
描述问题重现的 最短 步骤。
4、预期行为的描述
要让开发人员指导怎么样才是正确的,尤其要以用户的角度来描述程序的行为是怎样的。如果是依据需求提出的故障,能写明需求的来源是最好的。
要相信:测试人员是最懂需求的。
5、错误行为的描述
描述错误的现象。 crash 等可以上传 log , UI 问题可以有截图。
6、其他
某些公司会有一些其他的要求,例如故障的分类:功能故障,界面故障,兼容性故障等。有些有优先级的分类,严重影响测试需要开发人员优先修改的,可以设置优先级为高。
7、不要把多个bug放到一起
在无法确认是同一段代码造成的故障时,不要将 bug 放在一起提交。
【案例】
提交了如下 bug:
- 在短信列表,选择一条短信,进行删除,删除失败。
- 在短信列表,选择一条短信,进行查看,在查看页面,进行删除,删除失败。(详细 √)
故障发现版本:VPS20180226_01 故障类别:兼容性 故障优先级:中 故障标题:ie下界面显示异常,界面文字有重叠 故障描述: 测试环境:win7+IE8 测试步骤:1、打开vps首页,点击“通知”链接,进入通知页面 预期结果:通知页面显示正确,一页显示10条通知,按时间顺序倒序排列 实际结果:页面显示10条通知,通知顺序正确,但是页面文字有重叠 附件:上传截图
三、如何定义 bug 的级别(重点)
bug 的定义每个公司都不一致,在定义级别之前需要查看公司规范。
1、Blocker(崩溃)
阻碍开发或测试工作的问题;造成系统崩溃、死机、死循环,导致数据库数据丢失,与数据库连接错误,主要功能丧失,基本模块缺失等问题。如:代码错误、死循环、数据库发生死锁、重要的一级菜单功能不能使用等(该问题在测试中较少出现,一旦出现应立即中止当前版本测试,打回给开发,开发就需要修复,修复完之后开发需要自己再仔细测试一下)。
2、Critical(严重)
系统主要功能部分丧失、数据库保存调用错误、用户数据丢失,一级功能菜单不能使用但是不影响其他功能的测试。功能设计与需求严重不符,模块无法启动或调用,程序重启、自动退出,关联程序间调用冲突,安全问题、稳定性等。如:软件中数据保存后数据库中显示错误,用户所要求的功能缺失,程序接口错误,数值计算统计错误等(该等级问题出现在不影响其他功能测试的情况下可以继续该版本测试)。
3、Major(一般)
功能没有完全实现但是不影响使用,功能菜单存在缺陷但不会影响系统稳定性。如:操作时间长、查询时间长、格式错误、边界条件错误,删除没有确认框、数据库表中字段过多等( 该问题实际测试中存在最多)。
4、Minor(次要)
界面、性能缺陷,建议类问题,不影响操作功能的执行,可以优化性能的方案等。如:错别字、界面格式不规范,页面显示重叠、不该显示的要隐藏,描述不清楚,提示语丢失,文字排列不整齐,光标位置不正确,用户体验感受不好,可以优化性能的方案等(此类问题在测试初期较多,优先程度较低;在测试后期出现较少,应及时处理)
四、bug 的生命周期(重点)
每个公司、每一个工具对 bug 生命周期的定义都是不一致的,下面仅是一个常见的例子。
测试人员应该跟踪一个 Bug 的整个生命周期,从 Open 到 Closed 的所有状态。
1、BUG 状态转换图
- New:新发现的 Bug,未经评审决定是否指派给开发人员进行修改。
- Open:确认是 Bug,并且认为需要进行修改,指派给相应的开发人员。
- Fixed:开发人员进行修改后标识成修改状态(将 bug 修复结束了),有待测试人员的回归测试验证。
- Rejected:如果认为不是 Bug,则拒绝修改。
- Delay:如果认为暂时不需要修改或暂时不能修改,则延后修改。
- Closed:修改状态的 Bug 经测试人员的回归测斌验证通过,则关闭 Bug。
- Reopen:如果经验证 Bug 仍然存在,则需要重新打开 Bug(打回),开发人员重新修改。
无效的 bug :
- open->closed
- open-rejected-closed
缺陷状态变更流程每个项目团队的实际做法可能不大一样。并且需要结合实际的开发流程和协作流程来使用。例如,测试人员新发现的 Bug,必须由测试组长评审后才决定是否 Open 并分派给开发人员。测试人员 Open 的 Bug 可以直接分派给 Bug 对应的程序模块的负责人,也可以要求都先统一提交给开发主管,由开发主管审核后再决定是否分派给开发人员进行修改。 Bug 的跟踪以及状态变更应该遵循一些基本原则:
- 测试人员对每一个缺陷的修改必须重新取一个包含更改后的代码的新版本进行回归测试,确保相同的问题不再出现,才能关闭缺陷。
- 对于拒绝修改和延迟修改的 Bug,需要经过包含测试人员代表和开发人员代表、用户方面的代表(或代表用户角度的人)的评审。
delay 的 bug 一定要修复吗?
理论上来说是一定要被修复的。
五、如何开始第一次测试
1、充分理解需求
- 文档(产品文档 + 技术文档)
- 项目功能问产品,模块底层如何实现问开发
2、确定测试计划
3、执行测试
Bug 开发修复了之后一定要验收。
4、项目上线 + 维护
作为一个菜鸟在进入测试团队开始第一次测试的时候,我们需要做很多的准备:
- 阅读所有项目有关的文档,包括:需求文档、设计文档、用户手册。
- 尽可能参加各种项目会议,了解项目的背景、人员组成、尽可能的了解需求和业务。特别针对业务专业性较强的项目,例如银行业务,需要了解各种业务知识,如高低柜、一二三类账户等、存款、贷款等。
- 熟悉项目所使用的测试管理工具、配置管理工具,获取对应的地址和登录方式。
- 阅读已有的测试方案和测试案例。
- 阅读旧有的bug库,了解系统功能。尤其重要的是和现有的测试团队保持一致的故障定级原则。
- 了解公司的规范要求,特别是用例编写规范、用例执行规范、bug提交规范、测试工具工具使用规范等。
在进行了以上的准备工作之后,第一次测试工作到来了,我们需要与测试组长确认具体的工作内容:
- 测试的计划是什么?
- 测试的内容是什么?test case 有多少?安排了几天执行?有没有自由测试的时间?
- 我要测试的内容开发人员是谁?需求人员是谁?
- 分配给我的测试内容是否需要特殊的测试资源?资源是否满足需要?
在我们确认了以上内容之后,就可以开始测试的执行了。
六、测试的执行和 BUG 管理
开始进行测试:
- 打开待测试的系统。
- 打开测试管理工具用例模块,开始执行用例。
- 发现 bug,进行复现并确认 bug 的复现步骤。
- 记录 bug。
- 沟通 bug。
- 验证以前提交的 bug。
- 确认本次测试完成。
- 编写测试报告。
执行测试时处理要做到测试用例和需求的覆盖外,还要有临时发挥的能力。根据自己的经验、对测试的感悟以及随机测试可以发现很多根据测试用例无法发现的缺陷。
不能拘泥于测试用例或者已经有的测试方法,在测试执行过程中要不断总结测试方法和测试故障模型。真正优秀的测试人员在执行测试时是想着做,做着想,这样的测试效果才好,尤其是在测试过程中,对程序的处理相当了解的情况下,测试的思路会更加清晰和全面。
1、如何发现更多的 bug?
- 软件测试同样存在二八原则,80% 的故障集中于 20% 的模块,如果某部分问题较多,加强测试广度和深度。
- 开发人员也存在二八原则,80% 的故障集中于 20% 的开发人员,如果某些开发人员的 bug 较多,加强他们开发模块的测试广度和深度。
- 多进行逆向思维和发散性的思维(依赖测试人员经验)。
- 不要局限于用例和需求文档。
- 尽早介入项目(就会尽早理解需求),不要等到开发的差不多了再介入项目。
发散一下:注册的需求来进行一次测试? 功能:所有需求描述的功能 功能其他:需求未考虑到的:邮件内容是否正确?连续注册? 边界:最大值、最小值等 界面:美观,整齐 校验:email格式校验,错误校验,已注册校验、输出校验,为空等 兼容性:IE,CHROME,360..... 安全性:验证码能否起效?http请求直接发送? 性能:多用户并发 其他? 48小时真的是48小时么?
七、产生争执怎么办(处理人际关系)(重点)
能让开发人员解决最多 Bug 的测试人员是最优秀的测试人员。
在测试工作中,最常遇到的是和开发人员的 PK ,作为测试经理还会和项目经理、产品经理的 PK 进度、质量。
作为一名测试人员,一般会遇到以下几种情况:
- 这不是 bug。
- 这个 bug 的级别太高了。
- bug 影响不大,暂不修改。
遇到争执不要怕,记住批判性思维:
- 清楚 —— 准确
- 切题 —— 深刻
- 有意义,有逻辑性 —— 公正、全面
发散一下:
如下图,当选择了 1.png, 2.png , 2-2.png 时,任意点击一个删除按钮,所选的三个都被删除。
5、开发人员不接受时,不要争吵
可能你已经经过了多轮沟通,但是开发人员仍然拒不接受。此时可以发起 Bug 评审。
Bug 评审要注意的问题 缺陷的评审应该包括以下两个层面:
- 决定如何处理 Bug。
- 分析缺陷产生的原因,找出预防的对策。
(1)决定如何处理 Bug。
这一方面评审需要项目组各个方面的代表参加,通常不可缺少的是测试代表、开发代表、产品代表。
测试代表主要从 Bug 的具体表现、严重程度等方面提供信息,并提出自己对 Bug 的处理意见。需要注意的是,测试人员不应该一味地要求对 Bug 进行修改,因为修改可能带来回归的风险,同时带来的是回归测试的工作量,如果时间比较紧迫,修改后剩余的时间若不足以做一次有效的回归测试,可能不修改是个明智的选择。
开发代表主要从修改缺陷的难度和风险出发,考虑缺陷修改需要付出的代价,以及可能影响的范围、可能引发的风险等,如果决定要修改,还要讨论出修改的初步方案。
产品代表主要从产品的整体计划、用户的要求等方面对缺陷的修改必要性、缺陷修改的时间和版本提出自己的意见。 这在微软的做法叫 “Bug三方讨论会 ” ,参加者一般是测试人员、开发人员和项目经理。
(2)分析缺陷产生的原因,找出预防的对策。
缺陷评审还应该包括原因分析,找出 Bug 出现的原因,尤其是那些重复出现的 Bug。应该找出出现错误的根源,并且制定出相应的预防措施,确保同类型的 Bug 不再出现。 例如:有些 Bug 出现的原因不是简单的 “引用为空” 之类,而是开发人员的编码不规范或者编程习惯不好而导致,所以必须建立起正确的编程方式才能预防这些错误的出现,否则只是在玩无聊地重复发现相同的 Bug 的游戏。