移动测试是为广大企业客户和移动开发者提供真机测试服务的云平台,拥有大量热门机型,提供7x24全天候服务,帮助客户发现APP中的各类隐患(应用崩溃、各类兼容性问题、功能性问题、性能问题等),减少用户流失,提高APP质量和市场竞争力。
简介:
移动测试是为广大企业客户和移动开发者提供真机测试服务的云平台,拥有大量热门机型,提供7x24全天候服务。
我们致力于提供专业、稳定、全面、高价值的自动化测试能力,以及简单易用的使用流程、贴心的技术服务,并且帮助客户以最低的成本、最高的效率发现APP中的各类隐患(APP崩溃、各类兼容性问题、功能性问题、性能问题等),减少用户流失,提高APP质量和市场竞争力。
依托于阿里深厚的移动测试技术积累,MQC针对不同的测试场景和需求,研发了一套独特的测试方法和体系,可以涵盖Android、iOS、YunOS、H5 等不同的平台体系,我们在内部服务了手淘、天猫、聚划算、支付宝等一系列超级App,积累了丰富的移动测试经验。
名词解释:
兼容性测试:Android系统版本繁多,再加上各个厂商定制化的修改,使得Android碎片化问题非常严重。开发者需要花大量的金钱购买各类真机设备,花大量时间在不同的Android设备上进行测试,程序崩溃问题依然严重。兼容性测试就是解决这一问题。用户只需上传应用包,然后直接选择真机设备,即可提交到云端进行测试。兼容性测试会帮用户自动的在选择的真机终端上进行安装测试、启动测试、压力测试、卸载测试,最后把整体的兼容性报告、所有崩溃隐患的详细信息全部呈现给开发者,让开发者足不出户,便能体验到极致的测试服务。
H5测试: H5应用已经到了与Native应用平分天下的地位,越来越多的开发者愿意将精力投入到更加方便、轻量的H5应用上去。同时,H5应用的兼容性、性能等问题愈发值得重视。H5测试为开发者提供真机上H5应用的兼容性和性能测试,同时智能地遍历H5应用所有下级页面,并且给出H5应用待优化的点,让开发者快乐开发。
ANR:如果应用对输入事件(例如硬件点击或者屏幕触摸事件)在5秒内无响应,或者BroadReceiver不能够在10秒内结束接收到任务,就会发生ANR(程序无响应)。一般由在UI线程中执行了数据库、IO、网络等耗时的操作而无法响应输入事件引起。
Crash:应用在运行过程中,出现异常退出。
Monkey测试:Monkey是Android中的一个命令行工具,可以运行在模拟器里或实际设备中。它向系统发送伪随机的用户事件流(如按键输入、触摸屏输入、手势输入等),实现对正在开发的应用程序进行压力测试。Monkey测试是一种为了测试软件的稳定性、健壮性的快速有效的方法。
CPU时间:操作系统调度CPU交替的执行不同进程,一个进程的CPU时间就是指CPU在该进程上执行的所有时长的总和。
H5首屏加载: H5页面加载完首屏所有资源、包括css、js、图片、数据等所消耗的时间。
DOM加载:webView onPageStart到onPageFinished的时间。
非CDN资源:CDN是构建在网络之上的内容分发网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。非CDN资源就是没有使用CDN的资源,加载资源时需要通过DNS层层解析。
无时间戳资源:HTTP请求时没有在Header里面带上modify time和expire time这样的信息,在请求时从缓存里面找不到匹配的资源,需要重新加载,会耗用更多的流量和时间。
浏览器兼容性测试:浏览器兼容性目前支持QQ、百度、UC、360四类移动端浏览器。MQC会在您选择的设备上,分别用这四款移动浏览器加载目标网页,并在加载完成后,向上滑动2次网页,分别截取H5应用图片。从而,帮助您查看在不同浏览器上的H5应用兼容性情况。
功能特性
移动测试致力于提供专业、稳定、全面、高价值的自动化测试能力,以及简单易用的使用流程、贴心的技术服务,并且帮助客户以最低的成本、最高的效率发现APP中的各类隐患(APP崩溃、各类兼容性问题、功能性问题、性能问题等)。移动测试的机型分布涵盖了市面上几乎所有主流品牌、型号、系统版本和屏幕分辨率。目前主要包括:Android兼容性测试、Android功能测试、Android深度性能测试、Android远程真机租用、Android在线录制、iOS兼容性测试、iOS功能测试、iOS在线录制、H5测试等功能。
Android兼容性测试
本服务按照APP安装—>启动—>登录(可选)—>Ripper探索->不同版本覆盖安装(可选)—>卸载这一流程运行您的APP,同时也会获取相关的运行日志(如果有)、BUG信息(如果有)、性能数据(如果有,主要包含启动时间、CPU、内存、流量等数据),测试完成后将会提供一份兼容性测试报告。对于Android兼容性测试,免费任务的测试时长为5分钟,付费任务的测试时长为10分钟。
登录这一步骤为可选项,目前支持自动登录和脚本登录(一次测试任务中两种方法不能同时使用),在您提交测试任务时,如果您提供了测试账号和密码,测试执行时将在出现登录界面后移动测试将自动输入账号密码进行登录操作,此方法不支持需要验证码的登陆过程或者界面特殊的登录界面;如果您在提交测试任务时提供了Appium(zip压缩后的Python或Java文件)或Robotium(zip压缩过的Java文件)测试脚本,移动测试将在测试过程开始时执行您的测试脚本。两种登陆方法均支持账号池功能。
说明:Ripper探索使用了阿里集团基于机器学习开发的智能 AI 程序Ripper,具备自主决策能力,极大提高 App 测试效率。Ripper在页面覆盖度、BUG检出率上相较传统Monkey和遍历程序有明显优势。
Android功能测试
本服务将按照APP安装—>启动—>执行测试用例—>卸载这一流程运行您的APP,同时也会获取相关的运行日志(如果有)、BUG信息(如果有)、性能数据(如果有),测试完成后将会提供一份功能测试报告。报告将会以截图或者视频的形式向您展现APP的运行过程,帮助您快速进行功能回归。
本服务需要您提供一份基于Appium或Robotium测试引擎的测试脚本,Appium测试脚本支持Python和Java编程语言,Robotium脚本支持Java编程语言。本服务不提供单独的登陆步骤,请将您的登陆过程集成在测试脚本中,这里也支持账号池功能。
功能测试的脚本执行成功率跟您测试脚本的质量有关,移动测试无法保证您的脚本一定可以得到您预期的结果。移动测试会在脚本运行过程中尽量帮助您处理掉系统弹窗,以在一定程度上提高功能测试成功率,但是您APP弹出的非系统弹窗则需要您在测试脚本中自行处理。为了提高您的脚本执行成功率,建议您在测试脚本中必要的步骤后增加相关的校验或处理步骤(例如:在可能出现弹窗的地方进行相关判断和处理、在界面切换或网络请求等时间不可控的步骤后增加等待时间防止由于界面未完全加载而导致找不到控件等)。
您可以通过Android在线录制生成一份测试脚本或者直接保存成测试用例,可以减轻您的脚本编写负担。
Android功能测试的测试时长限制在30分钟以内,如果您的测试用例或脚本的执行时间过长,移动测试将在超时后主动结束本次测试任务,不会继续执行用例或脚本;你可以将用例或脚本合理拆分,分解成多个任务提交测试,或者联系移动测试为您提供个性化支持。
同时,针对金融类客户,我们支持随机密码键盘的输入操作,提高功能测试的适用范围。
Android远程真机租用
远程真机租用向您提供在线远程操作移动测试设备的功能,您可以实时看到设备的屏幕、以及执行屏幕或者按键操作,例如:点击、滑动、输入文本等。本服务方便您在发现APP在某些机型上存在问题而手边没有对应设备时,快速复现您APP的异常和问题。
Android&iOS在线录制
在线录制可以记录您在移动测试设备上的操作轨迹,快速生成对应的功能测试用例和脚本。支持点击、滑动、文本输入、等待等常用操作。生成的测试脚本通过xpath、控件id、文字等多种方式查找控件,明显提高了功能测试的成功率。针对iOS系统不同版本间xpath或元素类型变化等问题,移动测试做了大量适配工作。
说明:由于APP之间存在大量差异,移动测试无法适配所有情况,无法保证在线录制生成的脚本一定运行成功。为了保证生成的测试用例或脚本在功能测试中有较高的成功率,您在录制时应尽量从APP安装完成启动时开始录制,不要漏掉某些操作步骤;对于非系统弹框,也需要您进行针对性的处理;在录制界面切换或网络请求这类时间不可控的步骤后,请加上一定的等待时间,避免在功能测试时因为这些因素而出现找不到控件的问题。
Android深度性能测试
深度性能测试能协助测试人员发现APP中存在的深层次性能问题,直接定位多项性能问题及瓶颈的根本原因,方便您快速做出针对性地修改,提升APP性能表现,使得APP运行得更加稳定。
深度性能测试现在提供内存泄露、内存溢出、GC监控、界面流畅度和卡顿检测、过度绘制检测、启动分析、严苛模式(StrictMode)分析、安装包分析等功能。分别从内存表现、绘制和响应表现、启动表现、安装包等四个方面对APP性能做出来全面的分析。
iOS兼容性测试
本服务按照安装—>启动—>自动登录(可选)—>智能探索—>卸载的流程在您选定的设备上运行您的APP,移动测试目前的iOS机型涵盖iPhone 4S到iPhone 7/7P,系统版本涵盖iOS 8到iOS 10。方便您快速针对iOS机型进行全覆盖测试。自动登录只需要您提供测试账号和密码就可以帮您快速登录,这里暂不支持需要验证码和比较特殊的登录界面。本服务将收集设备在APP运行期间输出的BUG日志(如果有),并将录制测试过程的APP运行视频,方便您快速查看问题。iOS兼容性测试免费任务的测试时长为5分钟,付费任务测试时长为10分钟。
iOS功能测试
本服务按照安装—>启动—>执行脚本—>卸载的流程运行您的APP。测试脚本目前支持Appium和UI Automation(由于iOS的限制,UI Automation脚本仅支持iOS 8及之前版本的设备)测试框架。移动测试将会录制APP的运行视频,方便您快速发现功能问题。
用于iOS功能测试的Appium脚本仅支持Python语言,UI Automation脚本仅支持JavaScript语言。
功能测试的脚本执行成功率跟您测试脚本的质量有关,移动测试无法保证您的脚本一定可以得到您预期的结果。移动测试会在脚本运行过程中尽量帮助您处理掉系统弹窗,以在一定程度上提高功能测试成功率,但是您APP弹出的非系统弹窗则需要您在测试脚本中自行处理。为了提高您的脚本执行成功率,建议您在测试脚本中必要的步骤后增加相关的校验或处理步骤(例如:在可能出现弹窗的地方进行相关判断和处理、在界面切换或网络请求等时间不可控的步骤后增加等待时间防止由于界面未完全加载而导致找不到控件等)。
您可以iOS在线录制生成测试脚本或用例,减轻您的脚本编写负担。
iOS功能测试免费任务的测试时长限制在5分钟以内,付费任务的测试时间限制在20分钟以内,如果您的测试用例或脚本的执行时间过长,移动测试将在超时后主动结束本次测试任务,不会继续执行用例或脚本;你可以将用例或脚本合理拆分,分解成多个任务提交测试,或者联系移动测试为您提供个性化支持。
H5测试
H5测试可以在不同手机浏览器下测试您的页面加载情况。H5测试从资源加载、白屏时间、网页大小、网页复杂度等方面对您的页面加载性能做出全面分析, 方便快速发现H5问题。