第7章 非功能性测试
性能测试（略）
安全测试（略）
可用性测测试
可用性原则
- 简单的应用程序设计
- 了解用户并使用他们的语言
- 一致性
- 有效且易用
- 吸引人的用户体验
- 支持用户并提供反馈
- 提供清晰的导航结构
可用性测试的定义
可用性测试的价值
用户才是决定应用程序是否易于使用的人，而不是设计人员或开发人员
在应用程序的设计和开发初期就引入可用性测试无疑是最有效的
进行可用性测试需要花费额外的时间与资金，增加了应用程序的开发成本,但其所产生的价值远大于成本
可用性测试技术
（1）卡片分类：“苹果”“香蕉”"葡萄”的卡片归入标签为“水果”
（2）结构化评估：用户收到一张写"公司地址”的卡片，那么他们就会以“公司信息”为关键词在导航提供的选项列表中
（3）低保真测试： Visio、PowerPoint 或基本 HTML
（4）高保真测试：最后阶段进行
可用性测试实验室
(1)测试区域。
(2)观察区域。
(3)询问区域
- 摄像机
- 录屏软件
- 麦克风
- 记录软件
寻找测试参与者
1.本公司员工
2.对外招募志愿者
3.招聘机构
时间线
可用性测试的时间线可能会因应用程序而异，具体取决于以下3个因素。
1.规划
2.执行
持续30-45分钟，中间包含15分钟的休息时间。可用性测试团队由1名测试协调员和1名观察员总计2名成员组成。
3.分析
每个8小时的测试在完成后还需要花费6小时分析测试结果和2小时生成文档。
可用性测试过程实例
1.计划测试
(1)确定测试目标
目标分为：
① 可用性原则
②业务目标
③ 用户场景。
(2)选择合适的测试技术
要素 |
卡片分类 |
结构化评估 |
低保真测试 |
高保真测试 |
使用阶段 |
分析阶段、初期设计阶段 |
初期设计阶段 |
设计阶段 |
分析阶段、设计阶段、生产阶段 |
设备选择 |
摄像机 |
摄像机 |
摄像机、日志软件 |
摄像机、日志软件 |
测试参与者数量 |
每轮 4~6 人 |
每轮 4~6 人 |
每轮 4~6 人 |
每轮 4~6 人 |
测试团队分工 |
1名测试协调员、若干观察员 |
1名测试协调员、若干观察员 |
1名测试协调员、若干观察员 |
1名测试协调员、若干观察员 |
测试场所 |
便于测试参与者前往参与地方 |
便于测试参与者前往参与地方 |
便于测试参与者前往参与地方 |
便于测试参与者前往参与地方，测试场所必须具备支持应用程序的技术能力的地方 |
计划测试周期 |
3天 |
2天 |
3天 |
3天 |
执行时间* |
每位测 试参与者 40~ 45分钟，其中包括 10~15 分的休息时间 |
每位测 试参与者 40~ 45分钟，其中包括 10~15 分的休息时间 |
每位测 试参与者 40~ 45分钟，其中包括 10~15 分的休息时间 |
每位测 试参与者 40~ 45分钟，其中包括 10~15 分的休息时间 |
*执行时间根据具体情况而定。
(3)确定测试团队的主要成员和测试参与者
主要成员 |
职责 |
测试协调员 |
带领测试参与者通过测试组织测试参与者准备设备和茶点，做好后勤工作 |
主持人 |
为团队的日志记录员提供观察结果向观察员简要介绍测试将如何进行，以及他们应该关注的重点 |
日志记录员 |
记录测试参与者在可用性测试过程中的行为和意见 |
观察员 |
对测试过程感兴趣的设计人员、开发人员和涉众;通常在每次测试后与主持人和日志记录员进行交流，获取他们的观察结果 |
视听支持 |
根据需要提供视听支持负责摄像机的定位和视频的管理 |
可用性测试的测试参与者招募要求示例
年龄 |
25~35岁 |
在财务部门工作年限 |
至少3年 |
参加工作年限 |
至少5年 |
教育情况 |
接受中等教育，但所取得的最高学位应不超过学士学位 |
经验要求 |
无电脑使用经验 |
项目接触情况 |
无 |
(4)安排测试后勤
录像的优点和缺点
录像的优点 |
录像的缺点 |
未能参与测试的设计人员可以通过的视频回顾具体问题 |
在没有日志记录员笔记的情况下，分析录像视频需要的时间将是实际测试时间的3~10倍 |
即使团队和管理人员不能参加测试，他们也能够理解理解可用性测试的影响 |
可能会让测试参与者感到不适 |
当使用远程观察室时，更多人员可以观察到用户的近景 |
设备必须租用或购买，因此产生额外的费用 |
录像作为测试团队分析测试结果的资源和依据 |
编辑录像以捕获特定的内容，这不但非常耗时，而且比较昂贵 |
(5)创建测试材料。
① 保密协议与免责声明。
② 主持人脚本。
谢谢您来帮助评估这个界面。您没有被测试，而是在帮助我们了解如何设计和建立一个界面，以服务您完成日常操作
您所给出的所有评论及本次测试的结果将会保密，并且将以匿名的形式使用。
这个测试将持续约X小时，我们将在每隔X分钟休息X次。
③ 观察员指南
2.执行测试
(1)问候安抚测试参与者。
(2)发放使用前问卷和测试资料
(3)评估使用前问卷的答案
(4)开始测试。
(5)鼓励测试参与者反馈。
主持人应该为测试
① 设置规则。
主持人应该为测试参与者设置基本规则。例如:
- 除非你完全被困住了，无法继续前进，否则不要寻求帮助
- 试着在你进入应用程序的时候思考
- 不要局限你的想法
- 尽量忽略房间里的人或设备
② 提出反馈要求。
在测试过程中，主持人应该和测试参与着交谈，提示他们表达自己的示例为:
- 我们对你在探索这些新应用程序时的想法很感兴趣，所以希望在你思考的时候想说什么就说什么。
- 不要在感觉、猜测、期望、意图、挫折等方面有所保留。
- 尽可能连续地说话，不要担心表述的句子不完整。
- 不要局限你的想法，说出你所想的积极的和消极的事情。
- 你的诚实对我们最有帮助。
③) 避免引导测试参与者。在测试期间避免引导测试参与者,这点非靠重要,例如,主持人应该询问如下问题
- 你有什么不舒服的地方?
- 你看起来困惑。
- 你能描述一下你不喜欢什么吗?
- 你好像很喜欢最后那部分，是真的吗?
④ 进一步探究。
- 如果测试参与者停止责达，主持人可以尝试通过以下向题进一步探究。
- 请描述你的想法或感受。
- 告诉我你喜欢什么，以及不喜欢什么。
- 告诉我什么是困难或容易使用的界面。
- 你能进一步解释一下吗?
- 这是你想要的吗?
- 你在期待什么?
- 还有什么事吗?
(6)常见问题。
第一个常见问题是测试参与者只说不做
第二个常见问题是主持人过早地询问测试参与者对应用程序的期望。 第三个常见
3.分析和优化测试结果
(1)使用后问卷。
(2)整合测试结果
对界面、工作流程、应用设计等的正面评价。
对界面、工作流程、应用设计等的改进建议。
(3)分类测试结果
(4)排序测试结果。
- 对用户的重要性(对应用程序接受程度的影响）
- 对可用性目标的影响
- 对应用程序的影响
(5)生成可用性测试报告
- 对每个问题的描述
- 问题类型
- 修改或优化建议
无须安装JMeter，JMeter被运行
