史上最轻量​!阿里新型单元测试Mock工具开源了

简介: 为了探索更轻量易用的Mock测试手段,阿里云云效团队尝试给工具减负,在主流Mock工具的基础上让Mock的定义和置换干净利落,最终设计了一款极简风格的测试辅助工具TestableMock,无需初始化,不挑测试框架,无论要换的是私有方法、静态方法、构造方法还是其他任何类的任何方法,也无需关注要换的对象是怎么创建的,只要写好Mock定义,加个@MockMethod注解,就能统统搞定。本文分享TestableMock的实现原理。

image.png

作者 | 金戟
来源 | 阿里技术公众号

最简单舒适的Mock测试应该是怎样的?

指着源文件调用了外部依赖的那行代码说:

“你,在测试的时候,换成这个假的调用!”

结束。

甭管他是私有方法、静态方法,还是别的类的方法,直接换掉,不要有任何多余动作。

一 Mock测试八股文

Java的Mock工具伴随着单元测试技术不断迭代发展,可谓前仆后继、历久弥新,虽然原理各不相同,但核心的使用模式却几乎没发生过多少变化。不论是当下流行的Mockito和PowerMock,或是曾经著名的JMockit、EasyMock、MockRunner等等,基本使用套路都是:先初始化、然后定义Mock对象,最后通过某种机制把定义好的Mock对象送回被测类,替换原本的被调用对象。

来个Mockito测试的实际代码感受一下。

// 第一步:初始化 
Mockito@RunWith(MockitoJUnitRunner.class)
public class RecordServiceTest {         
    // 第二步:定义Mock对象    
    @Mock    
    DatabaseDAO databaseMock;
    
    // 第三步:定义测试用例    
    @Test    
    public void saveTest()    
    {        
        // 第四步:定义替代方法        
        when(databaseMock.write()).thenReturn(4);        
        // 第五步:注入Mock对象        
        RecordService recordService =            
            new RecordService(databaseMock);
            
        // 第六步:执行测试内容        
        boolean saved = recordService.save("demo");
            
        // 第七步:验证测试结果        
        assertEquals(true, saved);        
        // 第八步:验证Mock方法被执行        
        verify(databaseMock, times(1)).write();    
    }
}

根据不同的实现原理,将Mock对象送回被测方法的手段有许多种。

基于动态代理实现的Mockito比较符合直觉,但除了能用@InjectMocks支持 @Autowired注入的Spring Bean以外,几乎没提供太多黑魔法,因此要求用户代码要写得“可测试”。若要换的对象没用依赖注入机制,Mockito就帮不上忙了。

基于自定义类加载器的PowerMock能用@PrepareForTest绕进被测类里去替换Mock对象,但副作用是会让Jacoco默认的on-the-fly模式测试覆盖率会全部跌零。PowerMock的使用流程和Mockito十分 相似,只是功能更多了,开发者的学习曲线也变得更加陡峭。

基于动态字节码修改实现的JMockit要技高一筹,它在不影响测试覆盖率的情况下,仅通过“局部手术”就能让被测方法里的Mock目标“狸猫换太子”。不过,JMockit不仅要求每个用例的开头和结尾采用固定结构,而且发明了一种并不太符合Java习惯的Mock定义语法,妥妥的将自己做成了一款“测试框架”。同样看个例子。

// 第一步:初始化JMockit
@RunWith(JMockit.class)
public class PerformerTest {     
    // 第二步:定义Mock对象    
    @Mocked    
    private Collaborator collaborator; 
    
    // 第三步:定义被测对象
    // 隐含注入Mock对象逻辑    
    @Tested    
    private Performer performer;     
    
    // 第四步:定义测试用例    
    @Test    
    public void testThePerformMethod() {        
        // 第五步:定义替代方法        
        new Expectations() {{            
            collaborator.work("bar"); result = 10;        
        }};
        
        // 第六步:执行测试内容        
        boolean res = performer.perform("test");        
        // 第七步:验证测试结果        
        assertEquals(true, res);
        
        // 第八步:验证Mock方法被执行        
        new Verifications() {{            
            collaborator.receive(true);        
        }};    
    }
}

其余几款Mock工具使用流程基本雷同,不再列举。这个神奇的规律表明,在任何完整的Mock测试过程里,我们都在习以为常的遵循一种固定的八段式结构。而且这八个步骤里,有五个都与Mock相关。

本来只是让Mock工具客串一下外部依赖,怎么它就喧宾夺主的掌控起整个测试结构了呢?

二 极简的TestableMock

为了探索更轻量易用的Mock测试手段,我们尝试给工具减负,让Mock的定义和置换干净利落,最终设计了一款极简风格的测试辅助工具TestableMock,开源地址:
https://github.com/alibaba/testable-mock

在TestableMock的世界里,Mock就是指定目标方法,定义替代实现,然后看着它在测试运行的时候被自动换掉,从头至尾只需一个注解:@MockMethod。若将前面的第一个例子改成用TestableMock来实现,大概长这个样子。

public class RecordServiceTest 
{         
    // 定义Mock目标和替代方法    
    // 约定Mock方法比原方法多一个参数,传入调用者本身    
    // 因此是替换DatabaseDAO类的int write()方法调用    
    @MockMethod    
    int write(DatabaseDAO origin) { return 4; }
    
    // 定义测试用例    
    @Test    
    public void saveTest()    {        
        // 执行测试内容        
        RecordService rs = new RecordService();        
        boolean saved = rs.save("demo");
        
        // 验证测试结果        
        assertEquals(true, saved);        
        // 验证Mock方法被执行        
        TestableTool.verify("write").times(1);    
    }
}

一共五个步骤,与Mock相关的只有两处。无需初始化框架,且Mock定义无需侵入测试用例,更无需开发者操心Mock方法如何注入。一切被@MockMethod注解安排的明明白白:在被测类中凡是调用DatabaseDAO对象write()方法的地方,统统变成空调用并且返回数值“4”。

与以往Mock工具总是要替换整个对象的思路不同,TestableMock直接替换目标方法,脑回路无比简单,这种简化设计主要基于两条基本假设:

  • 假设一:同一个测试类里,一个测试用例里需要Mock掉的方法,在其他测试用例里通常也都需要Mock。因为这些被Mock的方法往往访问了不便于测试的外部依赖。
  • 假设二:需要Mock的调用都来自被测类的代码。此假设是符合单元测试初衷的,即单元测试只应该关注当前单元的内部行为,单元外的逻辑应该被替换为Mock。

对于假设一,TestableMock允许有少量特例。比如上述Mock方法里,如果仅对从save方法里的write()调用进行Mock,可以使用TestableTool工具类进行辅助判断。

@MockMethod
int write(DatabaseDAO origin) {    
    switch(TestableTool.SOURCE_METHOD) {        
        case "save": return 10;        
        default: return origin.write();    
    }
}

假设二通常不应该有特例,否则意味着是单元测试本身写法有问题。

除此以外,TestableMock的“轻量”还体现在它不挑合作伙伴,代码里没有为任何运行框架或测试框架定制逻辑。不论项目使用Spring、JFinal还是Quarkus,不论测试使用JUnit4、JUnit5还是TestNG,不论覆盖率统计使用Jacoco还是其他工具,都能轻松上岗。同时,除了Mock被测类中任意对象的方法调用,TestableMock还能Mock被测类自身的私有成员方法、静态方法、以及new操作符。值得一提的是,new操作符的Mock方法返回的既可以是一个真实对象,也可以是一个经过动态代理包装的Mock对象。但TestableMock并不负责生成此类Mock对象,因为在这方面,Mockito等传统Mock工具已经做得足够好了,可以直接拿来配合使用、取长补短。

同样是Mock工具,TestableMock却能将Mock所需的各种准备工作极大简化,那么它相比传统Mock工具是否有什么缺点呢?TestableMock并未引入重大的底层新技术,在软件设计领域有一条不成名的定律:任何非颠覆式的改进都是一种trade-off,有得必有失。在TestableMock极简的体验背后,舍弃的其实就是不符合上述两点假设的非典型使用场景。由于将Mock方法和测试用例分开定义,倘若Mock方法里有太多需要区分调用来源的if和switch,就会使得代码逻辑被打散、不便于阅读。所幸,作为一位资深踩坑员,我可以告诉大家,这类特例并不常见。反而更常见的情况是有许多测试用例需要使用相同的Mock方法,此时将Mock定义独立出来更加有助于减少重复代码,因此结果通常都是利大于弊的。

三 TestableMock的原理

简单来说,TestableMock利用了运行时字节码修改技术,在单元测试启动时扫描测试类和被测类的字节码,完成Mock方法替换。

这一看似理所当然的技术选型背后,浓缩了TestableMock对功能齐备和极致轻量的双重追求。

现实中的Java单元测试Mock工具原理主要有三类,其典型代表列举如下:

  • 动态代理:Mockito、EasyMock、MockRunner
  • 自定义类加载器:PowerMock
  • 运行时字节码修改:JMockit、TestableMock

在三种机制里,动态代理只在被测类的外周做手脚,不改动被测类本身,因此最安全,但功能也最弱。这类Mock工具对被Mock的方法比较挑剔,final类型、静态方法、私有方法全都无法覆盖。

自定义类加载器和动态字节码修改都会修改被测类的字节码,前者完全接管测试类的加载过程,后者则是在类加载完成后再对字节码做“二次改造”。从功能而言,两者没有太大差异,都可以实现对几乎任何类型和方法的Mock。两者的主要差异在于机制的启用方式,为了让自定义类加载器生效,需要针对不同的测试框架进行有区分的特殊处理,譬如在JUnit中使用@RunWith注解。这一点体现在PowerMock上就表现为,与不同测试框架配合使用时,它的注解搭配是有明确区别的。

为了与测试框架完全解耦,TestableMock通过直接扫描测试类中是否存在@MockMethod(或者@MockConstructor)修饰的方法,来自动判断是否要进行相应的初始化准备工作,实现了只需一个注解就能完成Mock初始化、定义和置换的极致体验。加之以可复用的方法(而非整个类型)作为粒度执行Mock替换,整个过程对测试的代码编写毫无侵入。

除了以上的三种方法,是否还有别的Mock实现手段呢?其实TestableMock的早期版本还尝试过一种做法:利用JSR-269规范的插件化注解处理器(Pluggable Annotation Processing)在代码编译期对被编译的源码进行修改。这种机制也能实现将源码中的方法调用换成Mock调用的目的,但它带来了两个棘手的问题。一是修改过的源码会被打包进最终生成的jar,导致生产包内容被篡改,此问题其实可通过在打包前增加一个class文件还原的步骤解决,但比较低效且并不优雅。另一个问题则是由于修改的是源码,因此对每种JVM语言都要单独实现,通用性不佳。TestableMock在迭代中逐步舍弃了基于JSR-269的Mock方案,转而利用这种机制实现了另一项功能:被测类私有成员访问。

四 超越Mock工具

TestableMock来自阿里云云效团队,秉持云效让研发工作更简单的理念,它所承载的职责是 “让Java没有难测的方法”,这也是TestableMock项目名字的由来。

除了独具一格的Mock功能,TestableMock还提供了两项单元测试增强能力:

让单测用例可以直接访问被测类的私有成员

“该不该测试私有方法”这个话题一直在Java单元测试的圈子里颇有争议。没错,仅集中于Java圈子,因为一些较新的编程语言,比如Python、Golang、Rust都从源头上避免了这个争论发生:Python的“私有方法”只是一种命名约定,Golang默认同包内所有方法皆可访问,而Rust的单元测试是和被测代码放在一起的。也就是说这些新式语言早都已经默认,单元测试可以访问私有方法,怎么舒服怎么来。Java代码由于要测试private方法就得将方法可见性改为default或者public,破坏了封装,这根导火索引燃了面向对象保守派与实用主义激进派的意识形态之争。可是程序员何必为难程序员,“通过公有方法间接测试私有方法”在实际操作的时候只会让编写测试者非常蛋疼。TestableMock为测试类准备了一个@EnablePrivateAccess注解来快速实现可访问性的增强,使所有在测试类中访问相应被测类的私有成员代码都会在编译期被自动改为合法的反射调用,而访问其他类的私有方法则依然不被允许,该限制的地方限制,该放宽的地方放宽。

辅助测试没有返回值的void类型方法

“没返回值的方法怎么测试”这是个业界并无太大观点分歧,却也至今尚未出现简单实用解决方案的技术课题。值得指出的是,void类型方法虽然不会直接返回计算结果,但一定会在其内部引起某种全局状态改变或引发某种“函数副作用”,比如输出日志、调用外部系统等等。既不返回数据也不产生任何副作用的方法毫无价值。通过TestableMock的私有成员访问机制和Mock验证器功能,可以快速验证被测类的内部状态变化,或是验证测方法中产生副作用的调用语句是否被正确执行且传入了预期的参数值。至此,Java项目void类型方法难以测试的历史或许将被终结 。

五 总结

功能比PowerMock毫不逊色,用法比Mockito更加简洁,不挑框架,指哪换哪,一个@MockMethod注解打天下。

单元测试是保障代码可重构和抗腐化的一种有效手段,但在实践的过程中,许多开发者最终被单元测试的条条框框与编写成本击退。实用主义单测增强工具TestableMock在提供万能Mock注入能力的同时,将单元测试编写的各方面成本均拉到了历史新低点 。

让Mock返璞归真,让测试告别繁琐。项目开源地址:
https://github.com/alibaba/testable-mock

相关文章
|
30天前
|
Java 测试技术 开发者
必学!Spring Boot 单元测试、Mock 与 TestContainer 的高效使用技巧
【10月更文挑战第18天】 在现代软件开发中,单元测试是保证代码质量的重要手段。Spring Boot提供了强大的测试支持,使得编写和运行测试变得更加简单和高效。本文将深入探讨Spring Boot的单元测试、Mock技术以及TestContainer的高效使用技巧,帮助开发者提升测试效率和代码质量。
159 2
|
11天前
|
安全 前端开发 测试技术
如何选择合适的自动化安全测试工具
选择合适的自动化安全测试工具需考虑多个因素,包括项目需求、测试目标、系统类型和技术栈,工具的功能特性、市场评价、成本和许可,以及集成性、误报率、社区支持、易用性和安全性。综合评估这些因素,可确保所选工具满足项目需求和团队能力。
|
10天前
|
监控 网络协议 Java
一些适合性能测试脚本编写和维护的工具
一些适合性能测试脚本编写和维护的工具
|
10天前
|
安全 网络协议 关系型数据库
最好用的17个渗透测试工具
渗透测试是安全人员为防止恶意黑客利用系统漏洞而进行的操作。本文介绍了17款业内常用的渗透测试工具,涵盖网络发现、无线评估、Web应用测试、SQL注入等多个领域,包括Nmap、Aircrack-ng、Burp Suite、OWASP ZAP等,既有免费开源工具,也有付费专业软件,适用于不同需求的安全专家。
15 2
|
21天前
|
Web App开发 定位技术 iOS开发
Playwright 是一个强大的工具,用于在各种浏览器上测试应用,并模拟真实设备如手机和平板。通过配置 `playwright.devices`,可以轻松模拟不同设备的用户代理、屏幕尺寸、视口等特性。此外,Playwright 还支持模拟地理位置、区域设置、时区、权限(如通知)和配色方案,使测试更加全面和真实。例如,可以在配置文件中设置全局的区域设置和时区,然后在特定测试中进行覆盖。同时,还可以动态更改地理位置和媒体类型,以适应不同的测试需求。
Playwright 是一个强大的工具,用于在各种浏览器上测试应用,并模拟真实设备如手机和平板。通过配置 `playwright.devices`,可以轻松模拟不同设备的用户代理、屏幕尺寸、视口等特性。此外,Playwright 还支持模拟地理位置、区域设置、时区、权限(如通知)和配色方案,使测试更加全面和真实。例如,可以在配置文件中设置全局的区域设置和时区,然后在特定测试中进行覆盖。同时,还可以动态更改地理位置和媒体类型,以适应不同的测试需求。
20 1
|
24天前
|
编解码 人工智能 自然语言处理
迈向多语言医疗大模型:大规模预训练语料、开源模型与全面基准测试
【10月更文挑战第23天】Oryx 是一种新型多模态架构,能够灵活处理各种分辨率的图像和视频数据,无需标准化。其核心创新包括任意分辨率编码和动态压缩器模块,适用于从微小图标到长时间视频的多种应用场景。Oryx 在长上下文检索和空间感知数据方面表现出色,并且已开源,为多模态研究提供了强大工具。然而,选择合适的分辨率和压缩率仍需谨慎,以平衡处理效率和识别精度。论文地址:https://www.nature.com/articles/s41467-024-52417-z
41 2
|
9天前
|
开发框架 安全 .NET
.NET使用Moq开源模拟库简化单元测试
.NET使用Moq开源模拟库简化单元测试~
|
1月前
|
jenkins 测试技术 持续交付
提升软件测试效率的实用技巧与工具
【10月更文挑战第12天】 本文将深入探讨如何通过优化测试流程、引入自动化工具和持续集成等策略,来显著提高软件测试的效率。我们将分享一些实用的技巧和工具,帮助测试人员更高效地发现和定位问题,确保软件质量。
47 2
|
19天前
|
NoSQL 测试技术 Go
自动化测试在 Go 开源库中的应用与实践
本文介绍了 Go 语言的自动化测试及其在 `go mongox` 库中的实践。Go 语言通过 `testing` 库和 `go test` 命令提供了简洁高效的测试框架,支持单元测试、集成测试和基准测试。`go mongox` 库通过单元测试和集成测试确保与 MongoDB 交互的正确性和稳定性,使用 Docker Compose 快速搭建测试环境。文章还探讨了表驱动测试、覆盖率检查和 Mock 工具的使用,强调了自动化测试在开源库中的重要性。
|
18天前
|
测试技术 开发者 UED
探索软件测试的深度:从单元测试到自动化测试
【10月更文挑战第30天】在软件开发的世界中,测试是确保产品质量和用户满意度的关键步骤。本文将深入探讨软件测试的不同层次,从基本的单元测试到复杂的自动化测试,揭示它们如何共同构建一个坚实的质量保证体系。我们将通过实际代码示例,展示如何在开发过程中实施有效的测试策略,以确保软件的稳定性和可靠性。无论你是新手还是经验丰富的开发者,这篇文章都将为你提供宝贵的见解和实用技巧。

热门文章

最新文章