《 自动化测试最佳实践:来自全球的经典自动化测试案例解析》一一3.2 将测试移到云端

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 本节书摘来自华章出版社《 自动化测试最佳实践:来自全球的经典自动化测试案例解析 》一 书中的第3章,第3.2 节,作者:(英)Dorothy Graham Mark Fewster 著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看

3.2 将测试移到云端
作为专业的测试团队,我们很容易厘清该如何同时地测试一台服务器和一项服务。但是如何将现有的自动化测试丰富的资产应用到服务空间?最终的答案是:在线测试(Testing in Production, TiP),在当时看来这是我们之前决不会做的事情。我们的起点是一些现有的工具和资产,如表3-2所示。
image

① 用于描述软件公司使用自己的产品这种情况。
因为Exchange是世界上功能最复杂的产品之一,所以我们已经建了一个庞大的工程流水线来开发和测试我们的产品。其中仅测试实验室就有大约5000台机器用于运行日常的测试和预检入(pre-check-in)的测试。在这些机器模拟测试场景(如具有多级动态目录的网站、不同的故障转移配置、多角色配置等)的复杂拓扑结构中,我们每周对Exchange的80 000次自动部署进行相关测试。到2007年年末,我们已经编写了将近70 000个自动化测试用例来对产品进行验证,我们每天都运行这些自动化测试用例,且每次提交代码之前必须运行其中的某些测试用例。我们使用Microsoft Visual Studio作为我们自动化测试工具的开发环境,大部分是使用C#语言进行开发的,但也有少部分是使用JavaScript和C++语言进行开发。
与大多数微软的产品研发团队一样,我们要吃自己的狗食。在很多文章和博客上都谈到“如何把产品当狗食来吃”的概念。在这里,指整个Exchange团队将他们的邮箱装在团队的dog food(beta版)环境中或者基于云端的dog food环境中,为了增加复杂性,我们让两个dog food环境无缝地协同工作,即便每两周都要升级到最新版本,也是如此。
这一级别的自动化允许我们建立单一的主代码分支,并使之在多个产品单元之间具有一致的文件版本。这是通过维护一定数量的编译错误(构建过程中断)和最小范围的回归来完成的。在dog food中有了自己的邮箱,可以允许我们很快地找出被测试忽略的功能问题,并能增强对正在构建的产品性能的自信心。因为我们正转向基于服务的自动化,所以继续获得这种自信是非常重要的。我们采用的新工具和模型如表3-3所示。
image

我们的每一个新工具和过程都吸取了推出Exchange Server产品时的经验。对于我们来说,解决如何与别的服务进行集成,以及如何在产品数据中心进行传统的测试活动,是一个新的转折点。
3.2.1 TiP测试策略的目标
我们设定的TiP测试策略目标是:
积极主动地发现产品线所存在的问题;
积极测试服务dog food;
验证新的产品上线;
确认配置变更或升级不会导致任何中断;
通过我们的附属服务进行合作方注销测试,如Windows Live ID;
衡量并帮助提高现有的系统中心运行管理器(system center operations manager,SCOM)监控方案;
发现潜在的缺陷;
工程团队可以使用这些测试来了解产品试验。
有了适当的目标之后,就要将它们作为测试——尤其是TiP测试的指导原则,并保证它们与整个Exchange项目的目标是一致的。我们最终选中了一组专注于效率和重用的原则。效率原则是指在复杂度最低的环境中用最快的速度找出正确的bug集合,OneBox是最主要的资产。另外,我们还选择将许多OneBox测试环境搭建在数据中心。使用以上方法时,会出现很多因数据中心网络和安全设置所产生的额外bug。重用变得至关重要,因为它意味着将现有的资产和过程扩展到数据中心和产品中,用于更快地产生好的测试结果。
3.2.2 指导原则
我们使用以下原则来指导我们的开发:
没有独立的团队,现有功能的测试团队都要参与。
产品中同样的代码库意味着我们应该尝试着复用整个产品和测试资产(自动化测试、测试装置、测试工具和流程),但是现在就在产品线上。
在实验室完成功能测试,意味着我们要在产品线上做进一步的测试,通过扮演客户的角色来验证用户体验。一些TiP方法利用可测试性特性深入到在线网站的堆栈中去,但是在最初实施时,我们坚持使用模拟终端用户进行黑盒测试的方法。
对测试场景的设计应该考虑其测试的广度,而非深度(即尽可能多地描述测试场景的覆盖面,同时测试场景的执行尽可能地快)
【真知灼见】
明确自己的目标,并为自动化测试设计可以实现的指导原则。

相关文章
|
3天前
|
设计模式 敏捷开发 jenkins
软件测试中的自动化测试实践指南
本文旨在探讨软件测试中自动化测试的实施方法及其重要性,通过具体案例分析自动化测试的步骤、工具选择及最佳实践。我们将从自动化测试的基本概念入手,逐步解析其在实际项目中的应用,并提供一些常见问题的解决方案。
|
5天前
|
安全 测试技术 UED
软件测试的艺术:从代码审查到用户体验的全方位解析
在软件开发的宇宙中,测试是那颗最耀眼的星辰。它不仅仅是一种技术活动,更是一门艺术。本文将带你领略这门艺术的魅力,从细微的代码审查到宏大的用户体验设计,揭示软件测试如何塑造出更加完美的数字世界。
|
15天前
|
敏捷开发 Java jenkins
软件测试中的自动化测试实践指南
本篇文章深入探讨了软件测试中自动化测试的重要性、实施步骤以及面临的挑战。我们将从为什么需要自动化测试开始,逐步解析其基本概念、工具选择、脚本开发、执行与维护等关键环节。同时,还将分享一些成功案例和最佳实践,帮助读者更好地理解和应用自动化测试技术。无论您是软件测试新手还是经验丰富的测试工程师,相信本文都能为您提供有价值的参考和启示。
|
15天前
|
数据管理 jenkins 测试技术
软件测试中的自动化测试实践与探索
本文探讨了在软件开发过程中,如何有效实施自动化测试,以提升软件质量和开发效率。通过对自动化测试的概念、工具选择、测试策略和具体实践案例的分析,旨在为软件测试人员提供一些有益的参考和启示。
|
13天前
|
测试技术 持续交付 Android开发
软件测试中的自动化测试策略与实践
本文深入探讨了软件测试中自动化测试的策略与实践,阐述了自动化测试的重要性、适用场景及常见工具。通过对自动化测试框架的搭建、脚本编写、持续集成等方面的详细分析,揭示了如何有效提升软件测试的效率和质量。同时,本文还指出了自动化测试在实际应用中可能面临的挑战,并提出了相应的解决方案。无论是对于初学者还是资深测试工程师,本文都提供了宝贵的参考和启示。
|
17天前
|
测试技术
基于LangChain手工测试用例转App自动化测试生成工具
在传统App自动化测试中,测试工程师需手动将功能测试用例转化为自动化用例。市面上多数产品通过录制操作生成测试用例,但可维护性差。本文探讨了利用大模型直接生成自动化测试用例的可能性,介绍了如何使用LangChain将功能测试用例转换为App自动化测试用例,大幅节省人力与资源。通过封装App底层工具并与大模型结合,记录执行步骤并生成自动化测试代码,最终实现高效自动化的测试流程。
30 4
|
19天前
|
机器学习/深度学习 人工智能 测试技术
软件测试中的自动化测试实践与挑战
本文深入探讨了软件测试领域中的自动化测试,从基本概念到实际应用案例,揭示了自动化测试在提升软件开发效率和质量中的关键作用。同时,文章也分析了在实施自动化测试过程中面临的主要挑战,并提出了相应的解决策略。
53 5
|
16天前
|
机器学习/深度学习 人工智能 算法
软件测试的艺术:从代码审查到用户体验的全方位解析
在软件开发过程中,一个经常被低估的环节就是软件测试。许多人认为测试仅仅是“点击几下鼠标,看看是否有错误”。然而,真正的软件测试是一门集技术深度、策略规划和细致观察于一体的艺术。它不仅关系到产品的质量和稳定性,更直接影响到最终用户的满意度。本文将从多个角度深入探讨软件测试的重要性、方法和最佳实践,帮助你理解为什么说软件测试是一种艺术。
|
18天前
|
设计模式 人工智能 算法
PHP中的设计模式:策略模式的深入解析与实践软件测试中的人工智能革命:提升效率与准确性的新篇章
在PHP开发中,理解并运用设计模式是提升代码质量和可维护性的重要途径。本文聚焦于策略模式(Strategy Pattern),一种行为型设计模式,它允许在运行时选择算法或业务规则。通过本文,我们将深入探讨策略模式的定义、结构、使用场景以及如何在PHP项目中有效地实现和利用策略模式。不同于性能优化等技术性摘要,本文着重于提供对策略模式全面而实用的理解,助力开发者编写出更加灵活和可扩展的应用程序。 本文深入探讨了人工智能在软件测试领域的应用,揭示了其如何显著提高测试过程的效率和准确性。通过实际案例分析,展示了AI技术在自动化测试、缺陷检测及结果分析中的关键作用,并讨论了实施AI测试策略时面临的挑
17 3
|
18天前
|
敏捷开发 安全 测试技术
软件测试的艺术:从代码到用户体验的全方位解析
本文将深入探讨软件测试的重要性和实施策略,通过分析不同类型的测试方法和工具,展示如何有效地提升软件质量和用户满意度。我们将从单元测试、集成测试到性能测试等多个角度出发,详细解释每种测试方法的实施步骤和最佳实践。此外,文章还将讨论如何通过持续集成和自动化测试来优化测试流程,以及如何建立有效的测试团队来应对快速变化的市场需求。通过实际案例的分析,本文旨在为读者提供一套系统而实用的软件测试策略,帮助读者在软件开发过程中做出更明智的决策。

推荐镜像

更多
下一篇
无影云桌面