开发者社区> 狂师> 正文

聊一聊,Python自动化测试框架

简介: 在Python语言系中,有很多可用的自动化测试框架,比如早期大多数人会选用 unittest+HTMLTestRunner、Nose等,最近几年比较常用的有Robot Framework,Robot Framework它是Python下一款非常通用的测试框架,采用扩展插件的机制可以帮助我们实现几乎任何类型的自动化测试工作,如接口自动化测试、App自动化测试、Web UI自动化测试等。
+关注继续查看

在Python语言系中,有很多可用的自动化测试框架,比如早期大多数人会选用 unittest+HTMLTestRunnerNose等,最近几年比较常用的有Robot FrameworkRobot Framework它是Python下一款非常通用的测试框架,采用扩展插件的机制可以帮助我们实现几乎任何类型的自动化测试工作,如接口自动化测试App自动化测试Web UI自动化测试等。

今天本文重点介绍在Python语言下,另外一款通用的测试框架Pytest,虽说作为Robot Framework框架一书的作者去介绍Pytest,貌似不太合理,但框架技术本是一家,能快速解决实际问题的框架就是好框架,在年初的时候,也发表过一篇关于Robot Framework与Pytest框架选择的一些建议: 聊一聊:Robot Framework被误会多年的秘密,感兴趣的读者可以看看。


一句话总结:Pytest核心思路和Robot Framework大体一样,可以通过插件扩展的形式,来满足不同场景下的自动化测试需求。

1. Pytest介绍


Pytest是一个非常成熟的全功能的Python测试框架,与python自带的unittest测试框架类似,但是比unittest框架使用起来更简洁,功能更强大。


提供完善的在线文档,并有着大量的第三方插件和内置帮助,适用于许多小型或大型项目。适合简单的单元测试到复杂的功能测试。还可以执行 nose, unittestdoctest 风格的测试用例。支持良好的集成实践, 支持扩展的 xUnit 风格 setup,支持非 Python 测试。支持生成测试覆盖率报告,支持 PEP8 兼容的编码风格。

2. Pytest安装及基本使用


Pytest安装非常简单,可以通过 pip 命令直接在线安装:

pip install -U pytest

Pytest 官方文档:https://docs.pytest.org/en/latest/

安装好之后,调用 pytest测试脚本方式:

1、py.test:

Pytest 提供直接调用的命令行工具,即 py.test,最新版本 pytest 和 py.test 两个命令行工具都可用

2、python -m pytest:

效果和 py.test 一样, 这种调用方式在多 Python 版本测试的时候是有用的, 例如测试 Python3:

python3 -m pytest [...]

基本语法:

usage: py.test [options] [file_or_dir] [file_or_dir] [...]

部分参数介绍:

py.test --version               查看版本
py.test --fixtures, --funcargs  查看可用的 fixtures
pytest --markers                查看可用的 markers
py.test -h, --help              命令行和配置文件帮助
# 失败后停止
py.test -x           首次失败后停止执行
py.test --maxfail=2  两次失败之后停止执行
# 调试输出
py.test -l, --showlocals  在 traceback 中显示本地变量
py.test -q, --quiet       静默模式输出
py.test -v, --verbose     输出更详细的信息
py.test -s                捕获输出, 例如显示 print 函数的输出
py.test -r char           显示指定测试类型的额外摘要信息
py.test --tb=style        错误信息输出格式
    - long    默认的traceback信息格式化形式
    - native  标准库格式化形式
    - short   更短的格式
    - line    每个错误一行
# 运行指定 marker 的测试
pytest -m MARKEXPR
# 运行匹配的测试
py.test -k stringexpr
# 只收集并显示可用的测试用例,但不运行测试用例
py.test --collect-only
# 失败时调用 PDB
py.test --pdb

3.Pytest用例执行


3.1 用例查找规则

如果不带参数运行pytest,那么其先从配置文件(pytest.ini,tox.ini,setup.cfg)中查找配置项 testpaths 指定的路径中的test case,如果没有则从当前目录开始查找,否则,命令行参数就用于目录、文件查找。查找的规则如下:

  • 查找指定目录中以 test 开头的目录
  • 递归遍历目录,除非目录指定了不同递归
  • 查找文件名以 test_ 开头的文件
  • 查找以 Test 开头的类(该类不能有 init 方法)
  • 查找以 test_ 开头的函数和方法并进行测试

如果要从默认的查找规则中忽略查找路径,可以加上 --ingore 参数,例如:

pytest --ignore=test_case/xxx.py

3.2 执行选择用例

1、执行单个模块中的全部用例:

py.test test_demo.py

2、执行指定路径下的全部用例:

py.test somepath

3、执行字符串表达式中的用例:

py.test -k stringexpr

4、运行指定模块中的某个用例,如运行 test_demo.py 模块中的 test_func 测试函数:

pytest test_demo.py::test_func

5、运行某个类下的某个用例,如运行 TestClass 类下的 test_method 测试方法:

pytest test_demo.py::TestClass::test_method

4.Pytest Fxiture特性


fixturepytest 特有的功能,它用 pytest.fixture 标识,定义在函数前面。在编写测试函数的时候,可以将此函数名称做为传入参数,pytest 将会以依赖注入方式,将该函数的返回值作为测试函数的传入参数。

pytest.fixture(scope='function', params=None, autouse=False, ids=None)

4.1 作为参数

fixture 可以作为其他测试函数的参数被使用,前提是其必须返回一个值:

@pytest.fixture()
def hello():
    return "hello"
def test_string(hello):
    assert hello == "hello", "fixture should return hello"

4.2 作为 setup

fixture 也可以不返回值,这样可以用于在测试方法运行前运行一段代码:

@pytest.fixture()  # 默认参数,每个测试方法前调用
def before():
   print('before each test')
def test_1(before):
   print('test_1()')
@pytest.mark.usefixtures("before")
def test_2():
   print('test_2()')

这种方式与 setup_methodsetup_module 等的用法相同,其实它们也是特殊的 fixture。

在上例中,有一个测试用了 pytest.mark.usefixtures装饰器来标记使用哪个 fixture,这中用法表示在开始测试前应用该 fixture 函数但不需要其返回值。

4.3 fixture作用范围

fixtrue 可以通过设置 scope 参数来控制其作用域(同时也控制了调用的频率)。如果 scope='module',那么 fixture 就是模块级的,这个 fixture 函数只会在每次相同模块加载的时候执行。这样就可以复用一些需要时间进行创建的对象。fixture 提供四种作用域,用于指定 fixture 初始化的规则:

  • function:每个测试函数之前执行一次,默认
  • class: 每个类之前执行一次,
  • module:每个模块加载之前执行一次
  • session:每次 session 之前执行一次,即每次测试执行一次

4.4 反向请求

fixture 函数可以通过接受 request 对象来反向获取请求中的测试函数、类或模块上下文。例如:

@pytest.fixture(scope="module")
def smtp(request):
    import smtplib
    server = getattr(request.module, "smtpserver", "smtp.qq.com")
    smtp = smtplib.SMTP(server, 587, timeout=5)
    yield smtp
    smtp.close()

有时需要全面测试多种不同条件下的一个对象,功能是否符合预期。可以通过设置 fixture 的 params 参数,然后通过 request 获取设置的值:

class Foo(object):
    def __init__(self, a, b, c):
        self.a = a
        self.b = b
        self.c = c
    def echo(self):
        print(self.a, self.b, self.c)
        return True
@pytest.fixture(params=[["1", "2", "3"], ["x", "y", "z"]])
def foo(request):
    return Foo(*request.param)
def test_foo(foo):
    assert foo.echo()

设置 params 参数后,运行 test 时将生成不同的测试 id,可以通过 ids 自定义 id:

@pytest.fixture(params=[1, 2, 4, 8], ids=["a", "b", "c", "d"])
def param_a(request):
    return request.param
def test_param_a(param_a):
    print param_a

4.5 setup/teardown

setup/teardown 是指在模块、函数、类开始运行以及结束运行时执行一些动作。比如在一个函数中测试一个数据库应用,测需要在函数开始前连接数据库,在函数运行结束后断开与数据库的连接。setup/teardown 是特殊的 fixture,其可以有一下几种实现方式:

# 模块级别
def setup_module(module):
    pass
def teardown_module(module):
    pass
# 类级别
@classmethod
def setup_class(cls):
    pass
@classmethod
def teardown_class(cls):
    pass
# 方法级别
def setup_method(self, method):
    pass
def teardown_method(self, method):
    pass
# 函数级别
def setup_function(function):
    pass
def teardown_function(function):
    pass

有时候,还希望有全局的 setup 或 teardown,以便在测试开始时做一些准备工作,或者在测试结束之后做一些清理工作。这可以用 hook 来实现:

def pytest_sessionstart(session):
    # setup_stuff
def pytest_sessionfinish(session, exitstatus):
    # teardown_stuff

也可以用 fixture 的方式实现:

@fixture(scope='session', autouse=True)
def my_fixture():
    # setup_stuff
    yield
    # teardown_stuff

4.6 自动执行

有时候需要某些 fixture 在全局自动执行,如某些全局变量的初始化工作,亦或一些全局化的清理或者初始化函数。这时可以通过设置 fixture 的 autouse 参数来让 fixture 自动执行。设置为 autouse=True 即可使得函数默认执行。以下例子会在开始测试前清理可能残留的文件,接着将程序目录设置为该目录:

work_dir = "/c/temp"
@pytest.fixture(scope="session", autouse=True)
def clean_workdir():
    shutil.rmtree(work_dir)

5. Pytest Mark特性


Pytest中marker 的作用是,用来标记测试,以便于选择性的执行测试用例。Pytest 提供了一些内建的 marker:

# 跳过测试
@pytest.mark.skip(reason=None)
# 满足某个条件时跳过该测试
@pytest.mark.skipif(condition)
# 预期该测试是失败的
@pytest.mark.xfail(condition, reason=None, run=True, raises=None, strict=False)
# 参数化测试函数。给测试用例添加参数,供运行时填充到测试中
# 如果 parametrize 的参数名称与 fixture 名冲突,则会覆盖掉 fixture
@pytest.mark.parametrize(argnames, argvalues)
# 对给定测试执行给定的 fixtures
# 这种用法与直接用 fixture 效果相同
# 只不过不需要把 fixture 名称作为参数放在方法声明当中
@pytest.mark.usefixtures(fixturename1, fixturename2, ...)
# 让测试尽早地被执行
@pytest.mark.tryfirst
# 让测试尽量晚执行
@pytest.mark.trylast

其中使用 pytest.skip 和 pytest.xfail 能够实现跳过测试的功能,skip 表示直接跳过测试,而 xfail 则表示存在预期的失败。

除了内建的 markers 外,pytest 还支持没有实现定义的 markers,如:

@pytest.mark.old_test
def test_one():
    assert False
@pytest.mark.new_test
def test_two():
    assert False
@pytest.mark.windows_only
def test_three():
    assert False

通过使用 -m 参数可以让 pytest 选择性的执行部分测试:

$ pytest test.py -m 'not windows_only'

更详细的关于 marker 的说明可以参考官方文档:https://docs.pytest.org/en/latest/example/markers.html

6. conftest.py文件


从广义理解,conftest.py 是一个本地的 per-directory 插件,在该文件中可以定义目录特定的 hooksfixtures。py.test 框架会在它测试的项目中寻找 conftest.py 文件,然后在这个文件中寻找针对整个目录的测试选项,比如是否检测并运行 doctest 以及应该使用哪种模式检测测试文件和函数。

总结起来,conftest.py 文件大致有如下几种功能:

  • Fixtures: 用于给测试用例提供静态的测试数据,其可以被所有的测试用于访问,除非指定了范围。
  • 加载插件: 用于导入外部插件或模块:pytest_plugins ="myapp.testsupport.myplugin"
  • 定义钩子: 用于配置钩子(hook),如 pytest_runtest_setuppytest_runtest_teardownpytest_config等。
  • 测试根路径: 如果将 conftest.py 文件放在项目根路径中,则 pytest 会自己搜索项目根目录下的子模块,并加入到 sys.path 中,这样便可以对项目中的所有模块进行测试,而不用设置 PYTHONPATH 来指定项目模块的位置。

可以有多个 conftest.py 文件同时存在,其作用范围是目录。例如测试非常复杂时,可以为特定的一组测试创建子目录,并在该目录中创建 conftest.py 文件,并定义一个 futures 或 hooks。就像如下的结构:

test_case
├── conftest.py
├── module1
│   └── conftest.py
├── module2
│   └── conftest.py
└── module3
    └── conftest.py

7. Pytest插件机制


Pytest之所以称之为全功能测试框架,得益于它能通过外部插件或者自定义插件的形式扩展所需的功能,这里推荐几款常用的第三方插件:

  • pytest-xdist: 分布式测试
  • pytest-cov: 生成测试覆盖率报告
  • pytest-pep8: 检测代码是否符合 PEP8 规范
  • pytest-flakes: 检测代码风格
  • pytest-html: 生成 html 报告
  • pytest-randomly: 测试顺序随机
  • pytest-rerunfailures: 失败重试
  • pytest-timeout: 超时测试




版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
19812 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
29195 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
13578 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
22540 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
16465 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
20710 0
+关注
狂师
公众号:【测试开发技术】作者、2020年行业畅销书《自动化测试实战宝典》图书作者。专注于软件测试开发技术、软件工程效能实践传播和分享!
457
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载