1）定制终端评测趋势
● 定制终端评测
→ 硬件：射频一致性、协议一致性、无线资源管理、硬件元器件、WLAN是当前硬件测试主要内容
→ 软件：操作系统测试、浏览器测试、移动应用测试、Widget测试当软件测试重点，内容逐渐由功能向非功能演进
● 预装在定制终端的移动应用评测
→ 功能、性能、稳定性、兼容性
→ 用户体验、隐私安全
● 终端和移动应用评测自动化工具越来越成熟
● 终端及其应用的性能、稳定性评测将成为入库重要依据
● 用户体验评测将成为不可或缺的组成部分
2）三大智能终端平台差异
以智能终端操作系统为基础，结合多种基础中间件、业务中间件、通信中间件来实现对应用的支撑。其中应用又可分为本地应用和Web应用两类。本地应用体系以iOS+App Store+NativeApp为代表，Web应用以HTML5/Widget+Web Store+Web App为代表
以iOS/WP7为代表的系统闭源/封闭文件管理系统/接口开放模式
以oPhone OS/WM为代表，系统闭源/开放文件管理系统和接口模式
以Android/Meego/WebOS/WinCE为代表系统开源/开放文件管理系统和接口模式
3）互联网应用测试的复杂因素
传统的测试方法是暴力的、疯狂的、相当麻烦的。
● 全球多达十亿两千万mobile web用户
● 74%的人将无法容忍超过5s的页面加载时间
● Gartner预测，至2014年超过90%企业级应用将支持智能终端版本
● 据统计，智能机上移动应用软件所引发的无线流量是非智能机10倍以上，美、英、德、日运营商都曾出现信令风暴导致的通信网瘫痪
● 截至2011年Q3的统计，Android操作系统出现7个版本，覆盖130个机型，每个机型超过2家硬件参考设计。光从终端适配角度看，若实现完整的测试覆盖，需完成1820次回归测试。倘若无法借鉴自动化测试工具，几乎是无法完成的任务
终端
● 操作系统平台、机型、屏幕分辨率、驱动差异等
网络
● 地域、制式、通信业务、网络优化程度、漫游等差别
自动化测试脚本
● 因平台、菜单风格不同，模拟客户端或自动化脚无法复用
移动应用客户端性能测试面临的困难
● 支持除支持http(s)协议外，普遍存在定制协议
● 整个应用链关联的对象复杂，如web service第三方内容、CDN内容分发
● 缺乏测试过程中数据收集、监控和诊断工具
● 缺乏客户端模拟并发工具，压力/负载测试工具需重新选择
4）测试
从互联网应用软件质量角度看，其主要的质量要求列举如下：
● 功能性：终端上移动应用功能越来越复杂，测试难度、周期和工作量逐步加大，测试成本快速上升
● 稳定性：用户使用移动应用时，与终端的电话、短信、浏览器等背景业务经常产生功能交互，增加了移动应用的不稳定性
● 可维护性：用户越来越关注应用业务的用户体验，在应用上线后需要持续对业务运营质量进行测试和监控
● 性能：终端上移动应用与终端、网络和服务的性能都有关系，性能遭遇瓶颈时，定位需围绕应用关联的整个链路来开展，导致应用业务优化的成本在不断提高
从用户角度看，测试重点列举如下：
| 测试类型 |
描述 |
测试场景重点 |
判断依据 |
| 功能测试 |
基本功能测试 |
菜单路径 |
是否可用 |
| 性能测试 |
基准性能 |
对被测对象功耗、时延、响应时间、连接成功率、并发用户数等核心性能指标进行测试 |
是否可用，且收集指标值 |
| 兼容性测试 |
mobile apps（手机客户端）实质为终端适配性测试 |
终端适配：与不同分辨率、不同操作系统平台版本、不同定制终端的兼容性 |
是否兼容 |
| 稳定性测试 |
极限负荷下稳定性基准，表征为持续无故障时间有多长 |
基本功能反复多次 |
成功率，且收集指标值 |
| 安全性测试 |
黑盒安全性测试，采用模糊数据对被测对象进行攻击测试的手段 |
访问限制、应用程序签名、恶意程序安全、权限命名机制、协议通信安全和用户数据隐私安全 |
是否安全 |
====================================分割线================================
最新内容请见作者的GitHub页：http://qaseven.github.io/
