推荐一款Diffy:Twitter的开源自动化测试工具

简介: Diffy是一个开源的自动化测试工具,**是一种Diff测试技术**。它能够自动检测基于Apache Thrift或者基于HTTP的服务。通过同时运行新/老代码,对比运行结果,发现潜在bug。使用Diffy,只需要进行简单的配置,之后不需要再编写测试代码。

阅读全文需8分钟,公众号【测试开发技术】后台回复me可免费扫描领取测试进阶学习资料。

1. Diffy是什么

Diffy是一个开源的自动化测试工具,是一种Diff测试技术。它能够自动检测基于Apache Thrift或者基于HTTP的服务。通过同时运行新/老代码,对比运行结果,发现潜在bug。使用Diffy,只需要进行简单的配置,之后不需要再编写测试代码。

2. Diffy主要为了解决什么问题

一个项目,从第一个版本发布到形成一个相对完善的版本,再到后面的重大更新甚至重构,需要经过许多版本的迭代。

而随着项目的迭代,产品功能不断增加,项目会变得越来越复杂。在后期,每修改增加的功能相对上一版本已存在功能的比例却是越来越小。但每一次或大或小的版本升级,我们都需要保证新增或修改的功能不影响上一版本已存在的功能。但要达到这一点却是困难异常,哪怕只改了一行代码、哪怕这项更改由非常优秀的开发者完成,我们都很难保证这项功能对上一版本的功能无任何影响。

要保证每次上线的安全,我们需要开发和测试完成两项工作。一是,开发者在增加或变动某项新功能后,补充相应的测试用例,但写过单元测试的同学都知道,完成一个单元测试用例所花费的时间可能比完成相应功能花费的时间更多得多。

大多情况只能写几个核心的测试用例,而在人员不足,时间紧张的情况下,则更是难上加难了。在后期,因为功能在不断增加,回归测试的工作量越来越大,同时因为是回归,可能几百甚至上千用例中才会发现一个问题,甚至一个问题也没有,测试投入工作的时间与最终的收益不成比例。

另外测试人员对相同内容的重复测试,会有一种疲惫感,这样一来会给测试人员带来消极情绪,当真的有问题(尤其是较复杂的数据问题)发生时,也可能会因为这种疲惫而将问题忽略(如果一个用例测了10遍都没问题,第11遍测的时候心里可能会默认这个地方是没问题的了)。这时候有些测试人员可能会考虑做自动化测试,但是自动化测试前期投入的成本较高,另外对测试人员的要求较高。如果项目变动比较频繁,部分自动化测试可能需要重新设计,会带来较高的成本。

而Diffy为上述问题提供了较好的解决方案,不同于我们常用的其他测试工具或框架从代码或接口的返回结果的正确性去验证,而是如其名:通过代码的差异去验证测试

需要注意的是:既然是差异,那至少是两者之间比较才有差异,对于第一行代码或新增的功能无法比较,自然也就无法验证,这时diffy无法发挥作用。但在后续增加修改,项目不停迭代的周期中,diffy就可以发挥它的舞台了,有了上一版本以及测试人员在上一版本测试工作的基础,我们就通过上一版本和当前版本比较差异了。

3. Diffy适用场景

①、场景验证:

比如某个接口返回的数据中的”name”字段获取由user数据库表改为mobile_user数据库表,那么从接口角度来讲,通过对比这个接口在新老版本代码的返回结果,就可以知道其字段的基本正确性与差异性。

②、提升回归效率:

就一般的接口测试来说,每次代码迭代,除了对新接口的测试,还包括对老接口的回归。如果通过手工回归,那么随着接口数量的增加,测试人员的工作量将同样地线性增长,且效率将大幅降低。通过diff测试,可以发现相同接口下内部代码逻辑变更对其输出的影响,测试人员只需要对比diff接口的差异之处(或自动对比),从而大幅减少人工作业的工作量。

4. Diffy一般操作流程

①、分别部署新、老代码:其中老代码为线上稳定版本,新代码为新迭代的测试版本。

②、构造测试数据:我们可以手工构造测试数据,也可以对线上的数据进行抽样,用于diff测试。

③、运行测试:使用测试数据分别在新、老代码中运行,并捕获测试结果。

④、结果对比:对比新、老代码,相同接口下的输出,如果出现差异,则可以通过接口反向定位问题。

5. Diffy工作原理

在测试过程中,Diffy充当一个代理,它能够将来源请求分发到不同版本的系统中去,通过对各个版本系统的输出进行对比,做出最终的结论。

Diffy需要三个版本的系统,以实现它的噪声过滤和对比功能,它们分别是:

候选版本:该版本是待测版本,相对于生产环境版本有着跟新的代码。

稳定版本:该版本通常是已经上线版本,或者是已知功能正常的版本。

稳定版本副本:该版本是稳定版本的副本,和稳定版本运行相同的代码,主要用于排除噪声。

整个运行流程为:
image

如图所示,diffy能够比较primary(线上稳定版本)和secondary(线上稳定版本备份)的差异值,通过对这些差异值做减法来消除噪声;通过比较candidate(测试版本)和primary(线上稳定版本)得到基本的diff结果;最后通过比对基本的diff结果与消除噪声后的结果,得到最终的diff结果。

其中:

  • 原始区别为候选版本和稳定版本之间输出的区别,其中可能会包含上述的噪声。
  • 噪声从稳定版本和其副本中
    获得,如果两个运行相同代码的系统输入相同输出却不同,则Diffy会认为这是开发人员不需要关心的噪声。

基于上述两个区别集合,Diffy可以识别出候选版本和稳定版本真实的区别,这些区别很有可能就是一个缺陷。

当然,对于一个概率性出现随机值,仅仅一次请求的结论可能是不准确的。例如对于一个50%概率出现true或者false的布尔值,则有50%的概率会出现候选版本和稳定版本的不同,同时又会有50%的概率出现稳定版本和其副本出现不同(即将这个值认定为噪声),最终会有25%的概率认为这是一个缺陷。因为此时稳定版本和其副本值相同,候选版本和稳定版本值不同。因此,Diffy还会聚合原始区别和噪声,当发现二者出现的概率类似的时候,会认定之前识别出来的缺陷属于误报。

6. Diffy安装、使用

1、克隆代码并构建

git clone https://github.com/twitter/diffy.git
cd diffy
./sbt assembly

下载diffy-server,也可以在github上下载源码编译 twitter/diffy , diffy是twitter使用scala语言开发的项目,在安装了jdk的基础上,还需要安装scala和sbt(类似于maven), 另外有些jar包需要从twitter下载,可能需要vpn。

2、例如,在localhost:9990部署primary(线上稳定版本)的代码。

3、例如,在localhost:9991部署secondary(线上稳定版本备份)的代码。

4、例如,在localhost:9992部署candidate(测试版本)的代码。

5、在下载好jar包之后,可直接通过java命令启动diff服务:

java -jar diffy-server.jar
-candidate=localhost:9992
-master.primary=localhost:9990
-master.secondary=localhost:9991
-service.protocol=http
-serviceName=My-Service
-proxy.port=:8880
-admin.port=:8881
-http.port=:8888
-rootUrl='localhost:8888'

各参数详细说明:

candidate='localhost:9200'  (待上线版本部署地址)
master.primary='localhost:9000' (已上线版本地址1)
master.secondary='localhost:9100' (已上线版本地址2)
service.protocol='http'  (http协议或https)
serviceName='My Service'  (服务名称,无影响)
proxy.port=:8880  (diffy代理端口,所以请求都应从这个端口访问)
admin.port=:8881 ( 通过http://localhost:8881/admin可以查看请求状况)
http.port=:8888 (查看界面,在这里可以比较差异)
rootUrl='localhost:8888' (同上)
responseMode=primary (代理服务器是否返回结果,默认(empty)无返回,可指定primary返回线上版本,secondary(同线上版本,用于噪音消除),candidate(待测试版本)
excludeHttpHeadersComparison=false (是否排除header的差异,不同服务器,cookie,nginx版本可能有所差异,设置为true可以忽略这些差异)
notifications.targetEmail=123@emal.com (对差异发送到指定邮箱)

需要注意的是,为了防止测试对数据造成不必要的影响,diffy默认只支持读,即Post及Delete影响数据的等请求不会转发,如果需要支持这样的请求,需要增加参数。

allowHttpSideEffects=true

命令模板(根据实际情况修改参数值即可)

java -jar diffy-server.jar -candidate=localhost:8086 -master.primary=localhost:85 -master.secondary=localhost:85 -service.protocol=http erviceName=My-Service -proxy.port=:8880 -admin.port=:8881 -http.port=:8888 -rootUrl='localhost:8888' -allowHttpSideEffects=true

6、对diffy发一些请求

curl localhost:8880/your/application/route?with=queryparams

7、在http://localhost:8888中检查结果,结果展示如下图

image

如图所示,我们可以看到每个请求在不同节点上的差异之处,如果点击“Exclude Noise”,则可以消除噪声,看到最终的diff结果。
image

  1. 小结
    上述对diffy作了一些基本的介绍和使用引导,利用diffy结合gor及nginx或filter等手段还可以扩展很多其它的测试实践。关于gor的介绍和用法可查阅:推荐一款简单易用线上引流测试工具:GoReplay,diffy更多高级用法,欢迎大家自行探索。

点击可查看:原文阅读

最后,关注公众号「测试开发技术」后台回复me, 可扫码添加作者微信,免费领取测试技术学习资料。

目录
相关文章
|
1月前
|
运维 Linux Apache
Puppet 作为一款强大的自动化运维工具,被广泛应用于配置管理领域。通过定义资源的状态和关系,Puppet 能够确保系统始终处于期望的配置状态。
Puppet 作为一款强大的自动化运维工具,被广泛应用于配置管理领域。通过定义资源的状态和关系,Puppet 能够确保系统始终处于期望的配置状态。
60 3
|
1月前
|
运维 Linux Apache
Puppet这一强大的自动化运维工具,涵盖其基本概念、安装配置及使用示例
【10月更文挑战第8天】本文介绍了Puppet这一强大的自动化运维工具,涵盖其基本概念、安装配置及使用示例。Puppet通过定义资源状态和关系,确保系统配置始终如一,支持高效管理基础设施。文章详细讲解了Puppet的安装步骤、配置方法及DSL语言示例,帮助读者快速掌握Puppet的使用技巧。
69 2
|
13天前
|
安全 前端开发 测试技术
如何选择合适的自动化安全测试工具
选择合适的自动化安全测试工具需考虑多个因素,包括项目需求、测试目标、系统类型和技术栈,工具的功能特性、市场评价、成本和许可,以及集成性、误报率、社区支持、易用性和安全性。综合评估这些因素,可确保所选工具满足项目需求和团队能力。
|
14天前
|
运维 Ubuntu 应用服务中间件
自动化运维工具Ansible的实战应用
【10月更文挑战第36天】在现代IT基础设施管理中,自动化运维已成为提升效率、减少人为错误的关键手段。本文通过介绍Ansible这一流行的自动化工具,旨在揭示其在简化日常运维任务中的实际应用价值。文章将围绕Ansible的核心概念、安装配置以及具体使用案例展开,帮助读者构建起自动化运维的初步认识,并激发对更深入内容的学习兴趣。
36 4
|
16天前
|
运维 监控 数据安全/隐私保护
自动化运维工具的设计与实现
【10月更文挑战第34天】在现代IT基础设施管理中,自动化运维工具扮演着至关重要的角色。它们不仅提高了运维效率,还确保了服务的连续性和稳定性。本文将深入探讨如何设计并实现一个自动化运维工具,从需求分析到功能实现,再到最终的测试与部署。我们将通过一个简单的代码示例来展示如何自动执行常见的运维任务,如日志清理和性能监控。文章旨在为读者提供一套完整的方法论,以便他们能够构建自己的自动化运维解决方案。
|
26天前
|
编解码 人工智能 自然语言处理
迈向多语言医疗大模型:大规模预训练语料、开源模型与全面基准测试
【10月更文挑战第23天】Oryx 是一种新型多模态架构,能够灵活处理各种分辨率的图像和视频数据,无需标准化。其核心创新包括任意分辨率编码和动态压缩器模块,适用于从微小图标到长时间视频的多种应用场景。Oryx 在长上下文检索和空间感知数据方面表现出色,并且已开源,为多模态研究提供了强大工具。然而,选择合适的分辨率和压缩率仍需谨慎,以平衡处理效率和识别精度。论文地址:https://www.nature.com/articles/s41467-024-52417-z
43 2
|
11天前
|
开发框架 安全 .NET
.NET使用Moq开源模拟库简化单元测试
.NET使用Moq开源模拟库简化单元测试~
|
1月前
|
运维 关系型数据库 MySQL
自动化运维工具Ansible的实战应用
【10月更文挑战第9天】在现代IT运维领域,效率和可靠性是衡量一个系统是否健康的重要指标。自动化运维工具Ansible因其简洁、易用的特性,成为了众多企业和开发者的首选。本文将通过实际案例,展示如何利用Ansible进行日常的运维任务,包括配置管理、软件部署以及批量操作等,帮助读者深入理解Ansible的应用场景及其带来的效益。
|
1月前
|
人工智能 运维 监控
自动化运维:从脚本到工具的演变之路
【10月更文挑战第8天】在数字化时代的浪潮中,运维不再是简单的硬件维护,它已经演变成一场关于效率、稳定性和创新的技术革命。本文将带您领略自动化运维的魅力,从最初的脚本编写到现代复杂的自动化工具,我们将一探究竟,看看这些工具如何帮助运维人员简化日常任务,提升工作效率,并最终推动业务发展。
|
21天前
|
NoSQL 测试技术 Go
自动化测试在 Go 开源库中的应用与实践
本文介绍了 Go 语言的自动化测试及其在 `go mongox` 库中的实践。Go 语言通过 `testing` 库和 `go test` 命令提供了简洁高效的测试框架,支持单元测试、集成测试和基准测试。`go mongox` 库通过单元测试和集成测试确保与 MongoDB 交互的正确性和稳定性,使用 Docker Compose 快速搭建测试环境。文章还探讨了表驱动测试、覆盖率检查和 Mock 工具的使用,强调了自动化测试在开源库中的重要性。
下一篇
无影云桌面