性能测试
在使用软件时有时会碰到软件网页打开越来越慢, 查询数据需要很长时间才显示列表, 软件运行越来越慢等问题
这些问题都是系统的性能问题引起的
常见的性能问题包括
- 资源泄漏
- 资源瓶颈
- 线程死锁
- 线程阻塞
- 查询速度慢或效率低
- 受外部系统系统影响越来越大
衡量一个系统性能好坏的关键指标包括
- 响应时间
- 吞吐量
- 每秒点击次数
- 内存和CPU 使用率
内存泄漏测试
从用户使用的角度来看, 内存泄漏本身不会造成什么危害
一般用户可能不会感觉到内存泄漏的存在
但是内存泄漏是会累积的, 只要执行的次数足够多, 最终会耗尽所有可用内存, 使软件的执行越来越慢, 最后停止响应
造成内存泄漏的原因包括
- 分配内存后忘记回收
- 程序有问题, 造成无法回收
(例如死循环造成无法执行到回收步骤…) - 某些API 函数的不正确使用, 造成内存泄漏
内存泄漏的检测方法
- 人工静态法: 代码走读, 人工查找未被回收的内存
- 自动工具法: 借助相应测试内存泄漏的工具, 如Visual Leak Detector, 记录每次内存的分配, 清楚的告诉用户内存是如何泄漏的
🔎根据是否查看代码划分
黑盒测试
黑盒测试(又称为数据驱动测试) 指完全不考虑程序逻辑和内部结构的情况下 检查系统功能是否按照需求规格说明书的规定正常使用 是否能适当的接收输入数据从而输出正确的结果, 满足规范需求
黑盒测试的优点
- 不需要了解程序内部的代码及实现, 不关注软件内部的实现
- 从用户角度出发设计测试用例, 很容易的知道用户会用到哪些功能, 会遇到哪些问题, 锻炼测试人员的产品思维
- 测试用例基于软件需求开发文档, 不容易遗漏软件需求文档中需要测试的功能
黑盒测试的缺点
- 不可能覆盖所有的代码
白盒测试
白盒测试(又称为结构测试或逻辑测试) 一般用于分析程序的内部结构, 针对程序的逻辑结构设计测试用例进行测试
白盒测试的目的
通过检查软件内部的逻辑结构, 对软件中的逻辑路径进行覆盖测试
在程序不同地方设立检查点, 检查程序的状态, 以确定实际运行状态与预期状态是否一致
白盒测试主要包括六种测试方法
- 语句覆盖
- 判定覆盖
- 条件覆盖
- 判定条件覆盖
- 条件组合覆盖
- 路径覆盖
灰盒测试
灰盒测试 介于黑盒测试与白盒测试之间的一种测试 多用于集成阶段测试, 不仅关注输入, 输出的正确性. 同时也关注程序内部的情况
🔎根据开发阶段划分
单元测试
单元测试(又称为模块测试) 指对软件的基本组成单元进行测试
单元测试的目的
检验软件基本组成单位的正确性
| 单元测试 | |
| 测试阶段 | 编码前或编码后 |
| 测试对象 | 模块(软件设计的最小单位) |
| 测试人员 | 白盒测试工程师或开发工程师 |
| 测试依据 | 代码, 注释, 详细的设计文档 |
| 测试方法 | 白盒测试 |
| 测试内容 | 模块接口测试, 局部数据结构测试, 路径测试, 错误处理测试, 边界测试 |
集成测试
集成测试(又称联合测试(联调), 组装测试) 指将程序模块采用适当的集成策略组装起来, 对系统的接口及集成后的功能进行正确性检测的测试工作
集成测试的目的
检查软件单位之间的接口是否正确
| 集成测试 | |
| 测试阶段 | 一般在单元测试之后进行 |
| 测试对象 | 模块之间的接口 |
| 测试人员 | 白盒测试工程师或开发工程师 |
| 测试依据 | 单元测试的模块 + 概要设计文档 |
| 测试方法 | 黑盒测试 + 白盒测试 |
| 测试内容 | 模块之间数据传输, 模块之间功能冲突, 模块组装功能正确性, 全局数据结构, 单模块缺陷对系统的影响 |
系统测试
系统测试 指对整个系统的测试. 将硬件, 软件, 操作人员看作一个整体, 检验它是否有不符合系统说明书的地方 包括对功能, 性能以及软件所运行的软硬件环境进行测试
| 系统测试 | |
| 测试阶段 | 集成测试通过之后 |
| 测试对象 | 整个系统(软, 硬件) |
| 测试人员 | 黑盒测试工程师 |
| 测试依据 | 需求规格说明书 |
| 测试方法 | 黑盒测试 |
| 测试内容 | 功能, 界面, 可靠性, 易用性, 性能, 兼容性, 安全性… |
回归测试
回归测试 指修改了原有的代码之后, 重新进行测试以确认修改没有引入新的错误或导致其他代码产生错误
回归测试在整个软件测试过程中占有很大的工作量比重, 软件开发的各个阶段都会进行多次回归测试
冒烟测试
| 冒烟测试 | |
| 测试阶段 | 正式进行系统测试之前执行 |
| 测试对象 | 每一个新编译的需要正式测试的软件版本 |
回归测试和冒烟测试都属于系统测试
验收测试
验收测试(又称为交付测试) 是部署软件之前的最后一个测试操作
验收测试的目的
确保软件准备就绪, 按照项目合同, 任务书, 双方约定的验收依据文档, 向软件购买者展示该软件系统满足原始需求
| 验收测试 | |
| 测试阶段 | 系统测试通过之后 |
| 测试对象 | 整个系统(软, 硬件) |
| 测试人员 | 主要是最终用户或需求方 |
| 测试依据 | 用户需求, 验收标准 |
| 测试方法 | 黑盒测试 |
| 测试内容 | 功能, 界面, 可靠性, 易用性, 性能, 兼容性, 安全性… |
🔎根据实施组织划分
α测试
α测试 指由一个用户在开发环境下进行的测试 也可以是公司内部的用户在模拟实际操作环境下进行的测试
α测试的目的
评价软件产品的FLURPS(功能, 局域化, 可使用性, 可靠性, 性能和支持)
大型通用软件
在正式发布之前, 通常需要执行α测试和β测试
α测试不能由程序员或测试员完成
β测试
β测试 是一种验收测试
β测试由软件的最终用户在一个或多个场所进行测试
α测试和β测试的区别
(1)
α测试是指把用户请到开发方的场所来进行测试
β测试是指在一个或多个用户的场所进行的测试
(2)
α测试的环境是受开发方控制的, 用户的数量相对较少, 时间比较集中
β测试的环境是不受开发方控制的, 用户数量相对较多, 时间不集中
(3)
α测试先于β测试执行
第三方测试
介于开发方和用户之间的测试
🔎根据是否运行划分
静态测试
静态测试 指不实际运行被测软件, 而只是静态地检查程序代码, 界面或文档中可能存在的错误的过程 仅通过分析或检查源程序的设计, 内部结构, 逻辑, 代码风格和规格等来检查程序的正确性
动态测试
动态测试 指实际运行被测程序, 输入对应的测试数据, 检查实际输出结果和预期结果是否相符的过程
大多数软件测试都属于动态测试
🔎根据是否手工划分
手工测试
手工测试 指由人去一个一个的输入用例, 然后观察结果, 和机器测试相对应 属于比较原始但是必须的步骤
| 手工测试 | |
| 优点 | 能够探索性的测试, 发散思维结果的测试(自动化测试无法完成类似功能) |
| 缺点 | 执行效率慢, 量大易错 |
自动化测试
自动化测试 指在预设条件下运行系统或应用程序, 评估运行结果. 预先条件应包含正常条件和异常条件 (就是将以人为驱动的测试行为转化为机器执行的一种过程)
自动化测试的步骤
(1)
完成功能测试, 版本基本稳定
(2)
根据项目特性, 选择适合项目的自动化工具, 并搭建环境
(3)
提取手工测试的测试用例转化为自动化测试的测试用例
(4)
通过工具, 代码实现自动化的构造输入, 自动检测输出结果是否符合预期
(5)
生成自动测试报告
(6)
持续改进, 优化脚本
🔎根据地域划分
国际化测试
国际化测试 指测试软件的国际化支持能力, 发现软件的国际化的潜在问题, 保证软件在世界不同区域中都能正常运行
本地化测试
| 本地化测试 | |
| 本地化 | 将软件版本语言进行更改(例如将Windows的英文改成中文就是本地化) |
| 测试对象 | 软件的本地化版本 |
| 测试目的 | 测试特定目标区域设置的软件本地化质量 |
| 测试环境 | 在本地化的操作系统上安装本地化的软件 |
| 测试方法 | 基本功能测试, 安装卸载测试 |
本地化测试与国际化测试的要点
| 本地化测试与国际化测试的要点 | |
| (1) | 本地化后的软件在外观上与原来版本是否存在很大差异, 外观是否整齐, 不走样 |
| (2) | 是否对所有界面元素都进行了本地化处理(包括对话框, 菜单, 工具栏, 状态栏, 提示信息, 日志…) |
| (3) | 在不同的屏幕分辨率下界面是否正常显示 |
| (4) | 是否存在不同的字体大小, 字体设置是否恰当 |
| (5) | 日期, 数字格式, 货币等是否可能适应不同国家的文化习俗(例如中文是年月日, 英文是月日年) |
| (6) | 排序的方式是否考虑了不同语言的特点(例如中文按照第一个的汉语拼音顺序排序, 而英文按照首字母排序) |
| (7) | 在不同的国家采用不同的度量单位, 软件是否能适应和转换 |
| (8) | 软件是否在不同类型的硬件上正常运行, 特别是在当地市场上销售的硬件 |
| (9) | 软件是否能在WIndows 或其他操作系统的当地版本上正常运行 |
| (10) | 联机帮助和文档是否已经翻译, 翻译后的链接是否正常. 正文翻译是否正确, 恰当, 是否有语法错误 |
