一文搞懂Unittest测试方法执行顺序

简介: 一文搞懂Unittest测试方法执行顺序

大家好~我是米洛

Unittest


unittest大家应该都不陌生。它作为一款博主在5-6年前最常用的单元测试框架,现在正被pytest,nose慢慢蚕食

渐渐地,看到大家更多的讨论的内容从unittest+HTMLTestRunner变为pytest+allure2等后起之秀

不禁感慨,终究是自己落伍了,跟不上时代的大潮了。

回到主题


感慨完了,回到正文。虽然unittest正在慢慢被放弃,但是它仍然是一款很全面的测试框架

今天在群里看到番茄卷王(公众号: 测试开发番货)的一番言论,激起了我的一番回忆。

自己以前是知道unittest的执行顺序并不是按照编写test方法的顺序执行,而是按照字典序执行的。但遗憾的是我都是投机取巧去解决的问题(后面会讲)。

下面我们就来探讨下unittest类的test方法的执行顺序问题。

源码初窥


研究一下源码(unittest.TestLoader)可以发现,在加载一个class下面的test方法的时候,原生Loader进行了排序,并且根据functools.cmp_to_key方法对测试方法列表进行了排序。

1.jpg

image

我们知道,unittest是不需要我们指定对应的方法,说白了,它是从类里面自动获取到咱们的方法,并约定了以test开头的方法都会被视为测试方法。

2.jpg

可以看到testMethodPrefix,即测试方法前缀,如果不是test开头则直接return False

查询一下self.sortTestMethodsUsing(这个是一个排序的方式)。

3.jpg

找到对应的排序方法

可以看到这个比较方法写的很明确了,如果x < y那么返回-1,x = y则返回0,x > y返回1。

其实大家可能不知道Python里面的字符串也是可以比较的,在此必须说明一下字典序。我们来看看这个例子:


a = "abc"
b = "abcd"
c = "abce"
print(a > b)
print(b > c)

猜猜看执行结果,很显然,字典序的比较,是按A-Z的顺序来比较的,如果前缀一样但长度不一样,那么长度长的那个,字典序靠后。

4.jpg

所以这里面a < b < c

了解了字典序以后,我们就不难知道,在unittest里面它寻找case的过程可以这样简化:

  • 找到对应类下面以test开头的测试方法
  • 对他们进行字典序排序
  • 依次执行
    这样就不难解释为什么我们有时候写的case不按照自己想的顺序来

回到问题的本质


搞清楚为什么用例会乱,那就想到对应的解决方案。由于修改源码是不太合适的,那我们有2个策略去达成目的。

比如我有多个test方法:


class Testcase(unittest.TestCase):
    def setUp(self) -> None:
        pass
    def test_1(self):
        print("执行第一个")
    def test_2(self):
        print("第二个")
    def test_3(self):
        print("第三个")
    def test_10(self):
        print("第四个")
    def test_11(self):
        print("第五个")
    def tearDown(self) -> None:
        pass
if __name__ == "__main__":
    unittest.main()

执行起来,按照字典序,其实是1 10 11 2 3的顺序。

5.jpg

可以看到现在还是不对的

1. 以字典序的方式编写test方法


我们可以手动修改test方法的名称,这也是我早前的处理方式。也就是说把想要先执行的case字典序排到前面:


class Testcase(unittest.TestCase):
    def setUp(self) -> None:
        pass
    def test_0_1(self):
        print("执行第一个")
    def test_0_2(self):
        print("第二个")
    def test_0_3(self):
        print("第三个")
    def test_1_0(self):
        print("第四个")
    def test_1_1(self):
        print("第五个")
    def tearDown(self) -> None:
        pass

我们可以把数字按位数拆开,个位数就把10位补0,这样就能达到效果,如果会写100个case,我们就需要补2个0,比如0_0_1,当然一个文件里面也不会有太多case。

如果遇到test_login这种怎么办呢,不是数字结尾的方法。

其实是一样的,可以写成test_数字_业务的模式。番货写了一个装饰器专门解决这样的问题,大家可以去参考下。

2. 回归本质,从根本解决问题


方案1用了番货的装饰器,好是好,但是改变了方法本身的名称,我们其实可以针对他的排序方式入手,按照我们编写case的顺序排序测试方法,就能达到想要的目的。

说说思路:

  1. 手写一个loader继承自TestLoader类,改写里面的排序方法
  2. 在unittest运行的时候传入这个新的loader

来看看完整代码,注释里面写的很完善了。


import unittest
class MyTestLoader(unittest.TestLoader):
    def getTestCaseNames(self, testcase_class):
        # 调用父类的获取“测试方法”函数
        test_names = super().getTestCaseNames(testcase_class)
        # 拿到测试方法list
        testcase_methods = list(testcase_class.__dict__.keys())
        # 根据list的索引对testcase_methods进行排序
        test_names.sort(key=testcase_methods.index)
        # 返回测试方法名称
        return test_names
class Testcase(unittest.TestCase):
    def setUp(self) -> None:
        pass
    def test_1(self):
        print("执行第一个")
    def test_2(self):
        print("第二个")
    def test_3(self):
        print("第三个")
    def test_10(self):
        print("第四个")
    def test_11(self):
        print("第五个")
    def tearDown(self) -> None:
        pass
if __name__ == "__main__":
    unittest.main(testLoader=MyTestLoader())

6.jpg

执行一下还是不对

执行了一下还是不对,是不是哪里出了什么问题呢?

是因为pycharm有一种默认的unittest的调试方法,我们要改成普通的方法去执行。

7.jpg

这种就是unittest的专属测试模式

8.jpg

改成data(我的py文件名称),然后点击debug按钮

9.jpg

别选Python tests,选正常的Python

10.jpg

搞定

试试用控制台执行:

11.jpg

也没什么毛病


今天的内容就讲到这里了,看懂的记得给个赞哦~




相关文章
|
16天前
|
安全 测试技术
北大李戈团队提出大模型单测生成新方法,显著提升代码测试覆盖率
【10月更文挑战第1天】北京大学李戈教授团队提出了一种名为“统一生成测试”的创新方法,有效提升了大模型如GPT-2和GPT-3在单一测试中的代码生成覆盖率,分别从56%提升至72%和从61%提升至78%。这种方法结合了模糊测试、变异测试和生成对抗网络等多种技术,克服了传统测试方法的局限性,在大模型测试领域实现了重要突破,有助于提高系统的可靠性和安全性。然而,该方法的实现复杂度较高且实际应用效果仍需进一步验证。论文可从此链接下载:【https://drive.weixin.qq.com/s?k=ACAAewd0AA48Z2kXrJ】
36 1
|
9天前
|
测试技术 Python
自动化测试项目学习笔记(三):Unittest加载测试用例的四种方法
本文介绍了使用Python的unittest框架来加载测试用例的四种方法,包括通过测试用例类、模块、路径和逐条加载测试用例。
24 0
自动化测试项目学习笔记(三):Unittest加载测试用例的四种方法
|
9天前
|
测试技术 Python
自动化测试项目学习笔记(二):学习各种setup、tearDown、断言方法
本文主要介绍了自动化测试中setup、teardown、断言方法的使用,以及unittest框架中setUp、tearDown、setUpClass和tearDownClass的区别和应用。
22 0
自动化测试项目学习笔记(二):学习各种setup、tearDown、断言方法
|
9天前
|
测试技术 Python
自动化测试项目学习笔记(一):unittest简单运行(初始化,清除,设置测试行为)
本文介绍了Python的unittest框架的基础用法,包括测试初始化(setup)、清除(tearDown)函数的使用,以及assertEqual和assertGreaterEqual等断言方法,并展示了如何创建测试用例,强调了测试函数需以test_开头才能被运行。
29 0
自动化测试项目学习笔记(一):unittest简单运行(初始化,清除,设置测试行为)
|
13天前
|
测试技术 UED
软件测试中的探索性测试:一种高效且灵活的测试方法
本文将深入探讨探索性测试的核心概念、优势及其在实际项目中的应用。我们将从探索性测试的基本定义入手,逐步解析其在不同场景下的具体实施方法和最佳实践。通过详细的案例分析和方法对比,帮助读者全面了解这种既高效又灵活的软件测试技术。
|
12天前
|
安全 测试技术 API
一图看懂API测试9种方法
一图看懂API测试九种方法:冒烟测试验证基本功能,功能测试确保符合规格,集成测试检查组件协同工作,回归测试防止新变更引入问题,负载测试评估性能稳定性,压力测试挑战极限负载,安全测试发现并修复漏洞,用户界面测试确保UI与API协调,模糊测试提升异常数据处理鲁棒性。
|
14天前
|
弹性计算 安全 Linux
阿里云国际版使用ping命令测试ECS云服务器不通的排查方法
阿里云国际版使用ping命令测试ECS云服务器不通的排查方法
|
16天前
|
SQL 关系型数据库 MySQL
SQL批量插入测试数据的几种方法?
SQL批量插入测试数据的几种方法?
44 1
|
28天前
|
机器学习/深度学习 人工智能 安全
软件测试中的探索性测试:一种高效发现软件缺陷的方法
本文将深入探讨软件测试中的一种关键方法——探索性测试。探索性测试是一种动态的、探索性的软件测试方法,它依赖于测试人员的直觉和经验,通过实际操作软件来发现潜在的问题和缺陷。与传统的基于预定义用例的测试方法相比,探索性测试更加灵活,能够更全面地覆盖软件的各个方面,从而更有效地发现难以预见的错误和漏洞。
25 2
|
12天前
|
测试技术 UED
软件测试中的探索性测试:一种创新的质量保证方法
在软件开发的生命周期中,测试阶段扮演着至关重要的角色。传统的软件测试方法,如自动化测试和回归测试,虽然在一定程度上保证了软件质量,但它们往往依赖于预定义的测试用例和脚本,可能无法覆盖所有用户场景和边缘情况。为了克服这些限制,探索性测试作为一种创新的质量保证方法应运而生。本文将深入探讨探索性测试的概念、优势以及如何有效地实施它,以帮助读者更好地理解和应用这种测试技术。