前戏
在python中,大家听到最多的单元测试框架就是unittest和pytest了,而pytest有很多的功能,甩unittest几条街
我们在使用pytest时,要遵循pytest的命名规则:
- 测试文件应当命名为test_**.py或者**_test.py
- 测试函数,测试类方法应当名为为test开头
- 测试类应当命名为Test开头
安装
pip install pytest
注意:我安装最新的pytest,执行时报错,原因是最新版本和allure-pytest兼容性有点问题,所以我安装的pytest的版本是4.5.0
一个简单的例子
pytest_one.py
def inc(x): return x + 1 def test_answer(): assert inc(3) == 4 def test_answer1(): assert inc(4) == 5
在当前目录下执行
=============== test session starts ===================
pytest为每段测试会话session做了明确的分割,一段会话就是pytest的一次调用,它可能包含多个目录下被执行的测试用例
platform win32 -- Python 3.6.5, pytest-4.5.0, py-1.7.0, pluggy-0.12.0
我使用的是wins,所以显示platform win32,python的版本是3.6.5,pytest的版本是4.5.0,py-1.7.0,和pluggy-0.12.0是python的包,后面的数字是包的版本
rootdir: E:\django-project\orm_project 当前执行脚本的目录
collected 2 items 搜索范围内找到了两个测试用例
test_one.py .. test_one.py表示测试文件,每个测试文件的测试情况只占据 一行,两个..表示两个测试用例均已通过,点号仅仅表示通过,而Failure(失败),error(异常),skip(跳过),xfail(预期失败),xpass(预期失败但通过)会被分别标记为F、E、s、x、X
========== 2 passed in 0.07 seconds ==================
表示通过的数量以及这段会话耗费的时间
运行单个测试用例
上面我们运行了test_one.py,里面有连个测试用例,都被我们运行了,但有时我们只想运行里面的一个方法,可以在指定文件后方加::test_name
比如上面的我们只想运行 test_answer这一个方法
这样我们就只运行了test_one.py里test_answer一个方法
命令行选项
--version
显示当前的pytest版本及安装目录
-v
使用-v选项,输出的信息会更加详细,最明显的区别就是每个文件中的每个测试用例都占一行,测试的名字和结果都会显示出来,而不仅仅是一个点或字符
我把上面的一个方法改成断言失败了,所以会有一条测试用例失败,一条成功,失败的测试用例也给出了我们的错误信息
-q(--quiet)
该选项的作用与-v的相反,他会简化输出信息,可以和--tb=line(仅打印异常信息的代码位置)搭配使用
--tb=style
--tb=style选项决定会捕捉到失败时输出信息的显示方式,
- 使用--tb=no屏蔽全部回溯信息
- 使用--tb=line,它可以告诉我们错误的位置
- 使用--tb=short,显示的回溯信息比前面两种模式的更详细
-l(--showlocals)
使用-l选项,失败测试用例由于被堆栈追踪,所有局部变量及其值都会显示出来
--help
获取帮助信息
usage: pytest [options] [file_or_dir] [file_or_dir] [...]
如果你不提供任何参数,pytest会在当前目录以及子目录下寻找测试文件,然后运行搜索到的测试代码,如果你提供了一个或多个文件名、目录名,pytest会逐个查找并运行所有测试,为了搜索到所有的测试代码,pytest会递归遍历每个目录及其子目录。
--collect-only
使用--collect-only选项可以展示在给定的目录下哪些测试用例会被运行,可以在测试运行之前,检查选中的测试用例是否符合预期
上面告诉了我们,在orm_project这个目录下,一共有三个满足要求的文件,test_one.py,test_two.py,test_three.py。而test_three.py下只有一个满足要求的方法,是以test开头的,而另一个不是以test开头的方法,不会被pytest识别
-k
-k选项允许你使用表达式指定希望运行的测试用例,如果某测试名是唯一的,或者多个测试名的前缀或后缀相同,那么可以使用表达式来快速定位,假设希望选中test_model()和test_answer(),那么可以使用--collect-only验证筛选情况
上面表示该目录下测试方法名里有model和demo的,只有两个,一个在test_one.py里面,一个在test_three.py里面
现在把--collect-only去掉,让他们正常运行
-m
标记(marker)用于标记测试并分组,以便快速选中并运行,以test_replace()和test_member_access()为例,他们甚至都不在同一个文件里,如果你希望同时选中他们,那么可以预先做好标记。
使用什么标记名由你自己决定,假设你希望使用run_this_case,则可以使用@pytest.mark.run_this_case这样的装饰器来做标记,像下面这样
import pytest def inc(x): return x + 1 @pytest.mark.run_this_case def test_model(): assert inc(3) == 4 def test_answer(): assert inc(4) == 5
现在有两个文件,每个文件里都有一个方法加上了这样的标记,我们来运行一下
有相同标记的集合,可以一起运行,这里我们使用pytest -m run_this_case命令就可以同时运行这两个方法
使用-m选项可以用表达式指定多个标记名。使用-m “mark1 and mark2”则会选中带有这两个标记的所有测试用例。使用-m “mark1 and not mark2”则会选中带有mark1的测试用例,而过滤掉mark2的测试用例。使用-m “mark1 or mark2”则选中带有mark1或者mark2的所有测试用例
使用@pytest.mark.name_of_the_mark
装饰器应用的未注册标记将始终发出警告,以避免警告。您可以通过在pytest.ini
文件中注册或使用自定义pytest_configure
来禁用自定义标记的警告。
-x
正常情况下,pytest会运行每一个搜索到的测试用例,如果某个测试函数被断言失败,或者触发了外部异常,则该测试用例的运行就会到此为止,pytest将其标记为失败后会继续运行下一个测试用例。通常,这就是我们期望的运行模式。但是在debug时,我们会希望遇到失败时立即停止整个会话,这时-x选项就派上用场了
pytest告诉我们找到了6个测试用例,执行到第三个时失败了,就结束了,没有继续往下执行,如果没有-x选项,那么6个测试用例都会被执行。
--maxfail=num
-x选项的特点是,一旦遇到测试失败,就会全局停止。假设你允许pytest失败几次后在停止,则可以使用--maxfail选项,明确指定可以失败几次
如果我们设置--maxfail=1,就与-x的作用相同
--lf(--last-failed)
当一个或多个测试失败时,我们常常希望能够定位到最后一个失败的测试用例重新运行,这时可以使用--lf选项
--ff(--failed-first)
--ff选项与--last-failed选项的作用基本相同,不同之处在于--ff会运行完剩余的测试用例