pytest(13)-多线程、多进程执行用例

简介: 有些项目的测试用例较多,测试用例时需要分布式执行,缩短运行时间。pytest框架中提供可用于分布式执行测试用例的插件:pytest-parallel、pytest-xdist,接下来我们来学习这两个插件的使用方法。

pytest-parallel


pytest-parallel 同时支持多线程、多进程两种方式执行测试用例。


安装


安装命令:pip install pytest-parallel==0.0.10

注意,虽然最新的版本为 0.1.1,但在windows系统中需要指定安装 0.0.10 版本,否则使用 pytest-parallel 参数执行用例时会报如下错误,其他系统暂未尝试。

AttributeError: Can't pickle local object 'pytest_addoption.<locals>.label_type.<locals>.a_label_type'


参数说明


pytest-parallel 提供参数执行测试用例,示例如下:

if __name__ == '__main__':
    pytest.main(['-s', 'testcase/test_case.py', '--workers=1', '--tests-per-worker=3'])

参数说明:

  1. --workers=n 指定运行的进程数为 n,默认为1,windows系统中只能为1
  2. --tests-per-worker=m 指定运行的线程数为 m
  3. 若两个参数都指定,则表示启动n个进程,每个进程最多启动m线程执行,总线程数=进程数*线程数
  4. windows系统中不支持 --workers 取其他值,即只能为1,mac或linux系统中可取其他值


使用


接下来举例进行说明。

测试用例模块 test_case.py:

import pytest
import time
def test_01():
    print("执行test_01")
    time.sleep(3)
def test_02():
    print("执行test_02")
    time.sleep(4)
def test_03():
    print("执行test_03")
    time.sleep(5)
def test_04():
    print("执行test_04")
    time.sleep(6)

不使用 pytest-parallel 执行用例:

if __name__ == '__main__':
    pytest.main(['-s', 'testcase/test_case.py'])
# 执行结果如下:
collected 4 items
testcase\test_case.py
.执行test_01
.执行test_02
.执行test_03
.执行test_04
============================= 4 passed in 18.05s ==============================

使用 pytest-parallel 分布式执行用例:

if __name__ == '__main__':
    pytest.main(['-s', 'testcase/test_case.py', '--workers=1', '--tests-per-worker=3'])
# 执行结果如下:  
collected 4 items
pytest-parallel: 1 worker (process), 3 tests per worker (threads)
执行test_01
执行test_03执行test_02
.执行test_04
...
============================== 4 passed in 9.04s ==============================

从以上结果可以看出来:

  1. 不使用 pytest-parallel 执行 test_case.py 中的测试用例所用时间为18.05s
  2. 使用 pytest-parallel 执行 test_case.py 中的测试用例,当 --workers=1、--tests-per-worker=3 时所用时间为9.04s


pytest-xdist


pytest-xdist 只支持多进程执行测试用例,不支持多线程执行。


安装


安装命令:pip install pytest-xdist


参数说明


pytest-xdist 提供参数执行测试用例,示例如下:

if __name__ == '__main__':
    pytest.main(['-s', 'testcase/test_case.py', '-n=4'])

参数说明:

  1. -n= 指定进程数,如 -n=4 表示开启4个cpu进行执行测试用例。
  2. pytest-xdist支持windows系统使用,同样也支持mac、linux。

使用


使用 pytest-xdist 分布式执行用例:

if __name__ == '__main__':
    pytest.main(['-s', 'testcase/test_case.py', '-n=4'])
# 执行结果如下:
plugins: allure-pytest-2.9.45, forked-1.4.0, html-2.1.1, metadata-1.10.0, ordering-0.6, parallel-0.0.10, rerunfailures-9.1.1, xdist-2.5.0
gw0 I / gw1 I / gw2 I / gw3 I
gw0 [4] / gw1 [4] / gw2 [4] / gw3 [4]
....
============================== 4 passed in 7.19s ==============================

从结果可以看出来,使用 pytest-xdist 执行 test_case.py 中的测试用例,当 -n=4 时所用时间为7.19s。


总结


  1. pytest-parallel 支持多线程执行用例,但在windows系统中只支持单个进程执行,即windows中只能--workers=1
  2. pytest-xdist 只支持多进程执行用例,但可以在windows系统中进行参数设置。
  3. 推荐使用 pytest-parallel,因为支持多线程执行,且自动化测试项目一般会搭建在mac或linux系统中运行,--workers 可以取别的值。

在使用过程中可能会遇到其他一些问题,欢迎评论探讨。

相关文章
|
2月前
|
Java 测试技术 API
【JUC】(1)带你重新认识进程与线程!!让你深层次了解线程运行的睡眠与打断!!
JUC是什么?你可以说它就是研究Java方面的并发过程。本篇是JUC专栏的第一章!带你了解并行与并发、线程与程序、线程的启动与休眠、打断和等待!全是干货!快快快!
471 2
|
2月前
|
JSON 网络协议 安全
【Java】(10)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
174 1
|
2月前
|
JSON 网络协议 安全
【Java基础】(1)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
198 1
|
10月前
|
存储 Linux API
【Linux进程概念】—— 操作系统中的“生命体”,计算机里的“多线程”
在计算机系统的底层架构中,操作系统肩负着资源管理与任务调度的重任。当我们启动各类应用程序时,其背后复杂的运作机制便悄然展开。程序,作为静态的指令集合,如何在系统中实现动态执行?本文带你一探究竟!
【Linux进程概念】—— 操作系统中的“生命体”,计算机里的“多线程”
|
8月前
|
并行计算 Linux
Linux内核中的线程和进程实现详解
了解进程和线程如何工作,可以帮助我们更好地编写程序,充分利用多核CPU,实现并行计算,提高系统的响应速度和计算效能。记住,适当平衡进程和线程的使用,既要拥有独立空间的'兄弟',也需要在'家庭'中分享和并行的成员。对于这个世界,现在,你应该有一个全新的认识。
295 67
|
6月前
|
调度 开发工具 Android开发
【HarmonyOS Next】鸿蒙应用进程和线程详解
进程的定义: 进程是系统进行资源分配的基本单位,是操作系统结构的基础。 在鸿蒙系统中,一个应用下会有三类进程:
213 0
|
9月前
|
SQL 监控 网络协议
YashanDB进程线程体系
YashanDB进程线程体系
|
11月前
|
消息中间件 调度
如何区分进程、线程和协程?看这篇就够了!
本课程主要探讨操作系统中的进程、线程和协程的区别。进程是资源分配的基本单位,具有独立性和隔离性;线程是CPU调度的基本单位,轻量且共享资源,适合并发执行;协程更轻量,由程序自身调度,适合I/O密集型任务。通过学习这些概念,可以更好地理解和应用它们,以实现最优的性能和资源利用。
357 11
|
11月前
|
Java Linux 调度
硬核揭秘:线程与进程的底层原理,面试高分必备!
嘿,大家好!我是小米,29岁的技术爱好者。今天来聊聊线程和进程的区别。进程是操作系统中运行的程序实例,有独立内存空间;线程是进程内的最小执行单元,共享内存。创建进程开销大但更安全,线程轻量高效但易引发数据竞争。面试时可强调:进程是资源分配单位,线程是CPU调度单位。根据不同场景选择合适的并发模型,如高并发用线程池。希望这篇文章能帮你更好地理解并回答面试中的相关问题,祝你早日拿下心仪的offer!
257 6
|
10月前
|
数据采集 Java 数据处理
Python实用技巧:轻松驾驭多线程与多进程,加速任务执行
在Python编程中,多线程和多进程是提升程序效率的关键工具。多线程适用于I/O密集型任务,如文件读写、网络请求;多进程则适合CPU密集型任务,如科学计算、图像处理。本文详细介绍这两种并发编程方式的基本用法及应用场景,并通过实例代码展示如何使用threading、multiprocessing模块及线程池、进程池来优化程序性能。结合实际案例,帮助读者掌握并发编程技巧,提高程序执行速度和资源利用率。
482 0

热门文章

最新文章