pytest(13)-多线程、多进程执行用例

简介: 有些项目的测试用例较多,测试用例时需要分布式执行,缩短运行时间。pytest框架中提供可用于分布式执行测试用例的插件:pytest-parallel、pytest-xdist,接下来我们来学习这两个插件的使用方法。

pytest-parallel


pytest-parallel 同时支持多线程、多进程两种方式执行测试用例。


安装


安装命令:pip install pytest-parallel==0.0.10

注意,虽然最新的版本为 0.1.1,但在windows系统中需要指定安装 0.0.10 版本,否则使用 pytest-parallel 参数执行用例时会报如下错误,其他系统暂未尝试。

AttributeError: Can't pickle local object 'pytest_addoption.<locals>.label_type.<locals>.a_label_type'


参数说明


pytest-parallel 提供参数执行测试用例,示例如下:

if __name__ == '__main__':
    pytest.main(['-s', 'testcase/test_case.py', '--workers=1', '--tests-per-worker=3'])

参数说明:

  1. --workers=n 指定运行的进程数为 n,默认为1,windows系统中只能为1
  2. --tests-per-worker=m 指定运行的线程数为 m
  3. 若两个参数都指定,则表示启动n个进程,每个进程最多启动m线程执行,总线程数=进程数*线程数
  4. windows系统中不支持 --workers 取其他值,即只能为1,mac或linux系统中可取其他值


使用


接下来举例进行说明。

测试用例模块 test_case.py:

import pytest
import time
def test_01():
    print("执行test_01")
    time.sleep(3)
def test_02():
    print("执行test_02")
    time.sleep(4)
def test_03():
    print("执行test_03")
    time.sleep(5)
def test_04():
    print("执行test_04")
    time.sleep(6)

不使用 pytest-parallel 执行用例:

if __name__ == '__main__':
    pytest.main(['-s', 'testcase/test_case.py'])
# 执行结果如下:
collected 4 items
testcase\test_case.py
.执行test_01
.执行test_02
.执行test_03
.执行test_04
============================= 4 passed in 18.05s ==============================

使用 pytest-parallel 分布式执行用例:

if __name__ == '__main__':
    pytest.main(['-s', 'testcase/test_case.py', '--workers=1', '--tests-per-worker=3'])
# 执行结果如下:  
collected 4 items
pytest-parallel: 1 worker (process), 3 tests per worker (threads)
执行test_01
执行test_03执行test_02
.执行test_04
...
============================== 4 passed in 9.04s ==============================

从以上结果可以看出来:

  1. 不使用 pytest-parallel 执行 test_case.py 中的测试用例所用时间为18.05s
  2. 使用 pytest-parallel 执行 test_case.py 中的测试用例,当 --workers=1、--tests-per-worker=3 时所用时间为9.04s


pytest-xdist


pytest-xdist 只支持多进程执行测试用例,不支持多线程执行。


安装


安装命令:pip install pytest-xdist


参数说明


pytest-xdist 提供参数执行测试用例,示例如下:

if __name__ == '__main__':
    pytest.main(['-s', 'testcase/test_case.py', '-n=4'])

参数说明:

  1. -n= 指定进程数,如 -n=4 表示开启4个cpu进行执行测试用例。
  2. pytest-xdist支持windows系统使用,同样也支持mac、linux。

使用


使用 pytest-xdist 分布式执行用例:

if __name__ == '__main__':
    pytest.main(['-s', 'testcase/test_case.py', '-n=4'])
# 执行结果如下:
plugins: allure-pytest-2.9.45, forked-1.4.0, html-2.1.1, metadata-1.10.0, ordering-0.6, parallel-0.0.10, rerunfailures-9.1.1, xdist-2.5.0
gw0 I / gw1 I / gw2 I / gw3 I
gw0 [4] / gw1 [4] / gw2 [4] / gw3 [4]
....
============================== 4 passed in 7.19s ==============================

从结果可以看出来,使用 pytest-xdist 执行 test_case.py 中的测试用例,当 -n=4 时所用时间为7.19s。


总结


  1. pytest-parallel 支持多线程执行用例,但在windows系统中只支持单个进程执行,即windows中只能--workers=1
  2. pytest-xdist 只支持多进程执行用例,但可以在windows系统中进行参数设置。
  3. 推荐使用 pytest-parallel,因为支持多线程执行,且自动化测试项目一般会搭建在mac或linux系统中运行,--workers 可以取别的值。

在使用过程中可能会遇到其他一些问题,欢迎评论探讨。

相关文章
|
5天前
|
存储 消息中间件 资源调度
「offer来了」进程线程有啥关系?10个知识点带你巩固操作系统基础知识
该文章总结了操作系统基础知识中的十个关键知识点,涵盖了进程与线程的概念及区别、进程间通信方式、线程同步机制、死锁现象及其预防方法、进程状态等内容,并通过具体实例帮助理解这些概念。
「offer来了」进程线程有啥关系?10个知识点带你巩固操作系统基础知识
|
4天前
|
资源调度 算法 调度
深入浅出操作系统之进程与线程管理
【9月更文挑战第29天】在数字世界的庞大舞台上,操作系统扮演着不可或缺的角色,它如同一位精通多门艺术的导演,精心指挥着每一个进程和线程的演出。本文将通过浅显的语言,带你走进操作系统的内心世界,探索进程和线程的管理奥秘,让你对这位幕后英雄有更深的了解。
|
8天前
|
Java
直接拿来用:进程&进程池&线程&线程池
直接拿来用:进程&进程池&线程&线程池
|
9天前
|
负载均衡 Java 调度
探索Python的并发编程:线程与进程的比较与应用
本文旨在深入探讨Python中的并发编程,重点比较线程与进程的异同、适用场景及实现方法。通过分析GIL对线程并发的影响,以及进程间通信的成本,我们将揭示何时选择线程或进程更为合理。同时,文章将提供实用的代码示例,帮助读者更好地理解并运用这些概念,以提升多任务处理的效率和性能。
|
19天前
|
开发者 Python
深入浅出操作系统:进程与线程的奥秘
【8月更文挑战第46天】在数字世界的幕后,操作系统扮演着至关重要的角色。本文将揭开进程与线程这两个核心概念的神秘面纱,通过生动的比喻和实际代码示例,带领读者理解它们的定义、区别以及如何在编程中运用这些知识来优化软件的性能。无论你是初学者还是有一定经验的开发者,这篇文章都将为你提供新的视角和实用技巧。
|
3天前
|
数据采集 消息中间件 并行计算
进程、线程与协程:并发执行的三种重要概念与应用
进程、线程与协程:并发执行的三种重要概念与应用
11 0
|
3天前
|
数据采集 Linux 调度
Python之多线程与多进程
Python之多线程与多进程
10 0
|
26天前
|
存储 Java 数据处理
进程中的线程调度
进程是应用程序运行的基本单位,包括主线程、用户线程和守护线程。计算机由存储器和处理器协同操作,操作系统设计为分时和分任务模式。在个人PC普及后,基于用户的时间片异步任务操作系统确保了更好的体验和性能。线程作为进程的调度单元,通过覆写`Thread`类的`run`方法来处理任务数据,并由系统调度框架统一管理。微服务架构进一步将应用分解为多个子服务,在不同节点上执行,提高数据处理效率与容错性,特别是在大规模数据存储和处理中表现显著。例如,利用微服务框架可以优化算法,加速业务逻辑处理,并在不同区块间分配海量数据存储任务。
|
8天前
|
存储 算法 Java
关于python3的一些理解(装饰器、垃圾回收、进程线程协程、全局解释器锁等)
该文章深入探讨了Python3中的多个重要概念,包括装饰器的工作原理、垃圾回收机制、进程与线程的区别及全局解释器锁(GIL)的影响等,并提供了详细的解释与示例代码。
15 0
|
11天前
|
并行计算 API 调度
探索Python中的并发编程:线程与进程的对比分析
【9月更文挑战第21天】本文深入探讨了Python中并发编程的核心概念,通过直观的代码示例和清晰的逻辑推理,引导读者理解线程与进程在解决并发问题时的不同应用场景。我们将从基础理论出发,逐步过渡到实际案例分析,旨在揭示Python并发模型的内在机制,并比较它们在执行效率、资源占用和适用场景方面的差异。文章不仅适合初学者构建并发编程的基础认识,同时也为有经验的开发者提供深度思考的视角。