Python 任务自动化工具:nox 的配置与 API

简介: Python 任务自动化工具:nox 的配置与 API


Noxfile

Nox 默认在一个名为noxfile.py的文件中查找配置。在运行 nox 时,你可以使用 --noxfile参数指定其它的文件。

定义会话

格式:session(func=None, python=None, py=None, reusevenv=None, name=None, venvbackend=None),将被装饰的函数指定为一个会话。

Nox 会话是通过被@nox.session装饰的标准 Python 函数来配置的。例如:

import nox
@nox.session
def tests(session):
    session.run('pytest')

会话描述

你可以使用文档字符串向会话中添加一个描述。第一行内容会在列出会话时显示。例如:

import nox
@nox.session
def tests(session):
    """Run the test suite."""
    session.run('pytest')

nox --list命令将显示出:

$ nox --list
Available sessions:
* tests -> Run the test suite.

会话名称

默认情况下,Nox 使用被装饰函数的名称作为会话的名称。这对于绝大多数项目都非常有效,但是,如果需要,你也可以使用 @nox.session 的 name 参数来自定义会话的名称。例如:

import nox
@nox.session(name="custom-name")
def a_very_long_function_name(session):
    print("Hello!")

nox --list 命令将显示:

$ nox --list
Available sessions:
* custom-name

你可以告诉 nox 使用自定义的名称运行会话:

$ nox --session "custom-name"
Hello!

配置会话的virtualenv

默认情况下,Nox 在为每个会话创建一个新的 virtualenv 时,会使用 Nox 所用的同一个解释器。如果你使用 Python 3.6 安装了 nox,则 nox 将默认在所有会话中使用 Python 3.6。

通过给 @nox.session 指定 python 参数(或其别名 py),你可以告诉 nox 使用不同的 Python 解释器/版本:

@nox.session(python='2.7')
def tests(session):
    pass

你还可以告诉 Nox 使用多个 Python 解释器运行你的会话。Nox 将为指定的每个解释器创建一个单独的 virtualenv 并运行会话。例如,下面的会话将运行两次——一次使用 Python 2.7,一次使用 Python 3.6:

@nox.session(python=['2.7', '3.6'])
def tests(session):
    pass

当你提供一个版本号时,Nox 会自动添加 python 来确定可执行文件的名称。但是,Nox 也可以接受完整的可执行名称。如果你想使用 pypy 来测试,例如:

@nox.session(python=['2.7', '3.6', 'pypy-6.0'])
def tests(session):
    pass

当准备你的会话时,Nox 将为每个解释器创建单独的会话。你可以在运行 nox --list 的时候看到这些会话。例如这个 Noxfile:

@nox.session(python=['2.7', '3.5', '3.6', '3.7'])
def tests(session):
    pass

将产生这些会话:

* tests-2.7
* tests-3.5
* tests-3.6
* tests-3.7

注意,这个扩展发生在参数化之前,所以你仍然可以对多个解释器的会话进行参数化。

如果你想完全禁止创建 virtualenv,你可以设置 python 参数为 False:

@nox.session(python=False)
def tests(session):
    pass

最后,你还可以指定每次都重用 virtualenv,而不是重新创建:

@nox.session(
    python=['2.7', '3.6'],
    reuse_venv=True)
def tests(session):
    pass

将参数传入会话

通常往测试会话中传递参数是很有用的。下面是一个简单示例,演示了如何使用参数对特定文件作测试:

@nox.session
def test(session):
    session.install('pytest')
    if session.posargs:
        test_files = session.posargs
    else:
        test_files = ['test_a.py', 'test_b.py']
    session.run('pytest', *test_files)

现在如果你运行:

nox

那么 nox 将运行:

pytest test_a.py test_b.py

但如果你运行:

nox -- test_c.py

那么 nox 将运行:

pytest test_c.py

参数化会话

会话的参数可以用nox.parametrize() 装饰器来作参数化。下面是一个典型的参数化安装 Django 版本的例子:

@nox.session
@nox.parametrize('django', ['1.9', '2.0'])
def tests(session, django):
    session.install(f'django=={django}')
    session.run('pytest')

当你运行nox时,它会创建两个不同的会话:

$ nox
nox > Running session tests(django='1.9')
nox > pip install django==1.9
...
nox > Running session tests(djano='2.0')
nox > pip install django==2.0

nox.parametrize() 的接口和用法故意跟pytest的参数化 相类似。

格式:parametrize(arg_names, argvalueslist, ids=None)

作用是参数化一个会话。

将 argvalueslist 列表赋给对应的 arg_names,为装饰的会话函数添加新的调用。参数化在会话发现期间执行,每次调用都作为 nox 的单个会话出现。

参数:

  • arg_names (Sequence[str])——一系列参数名称
  • argvalueslist (Sequence[Union[Any, Tuple]])——参数值列表决定了使用不同参数值调用会话的频率。如果只指定了一个参数名,那么这就是一个简单的值列表,例如[1,2,3]。如果指定了 N 个参数名,这必须是一个 N 元组的列表,其中每个元素为其各自的参数名指定一个值,例如 [(1,'a'), (2,'b')]。
  • ids (Sequence[str]) ——可选项,一系列测试 id,被参数化的参数使用。

你也可以堆叠装饰器,令其产生组合了参数的会话,例如:

@nox.session
@nox.parametrize('django', ['1.9', '2.0'])
@nox.parametrize('database', ['postgres', 'mysql'])
def tests(session, django, database):
    ...

如果运行nox —list,你将看到它生成了以下的会话集:

* tests(database='postgres', django='1.9')
* tests(database='mysql', django='1.9')
* tests(database='postgres', django='2.0')
* tests(database='mysql', django='2.0')

如果你只想运行一个参数化会话,请参阅"指定参数化会话"部分。

为参数化的会话起友好的名称

自动生成的参数化会话的名称,如tests(django='1.9', database='postgres'),即使用关键字过滤,也可能很长且很难处理。

在此场景中,可以为参数化会话提供辅助的自定义 id 。这两个例子是等价的:

@nox.session
@nox.parametrize('django',
    ['1.9', '2.0'],
    ids=['old', 'new'])
def tests(session, django):
    ...
@nox.session
@nox.parametrize('django', [
    nox.param('1.9', id='old'),
    nox.param('2.0', id='new'),
])
def tests(session, django):
    ...

当运行nox --list时,你将看到它们的新 id:

* tests(old)
* tests(new)

你可以用nox --sessions "tests(old)",以此类推。

这也适用于堆叠参数化。id 是在组合期间组合的。例如:

@nox.session
@nox.parametrize(
    'django',
    ['1.9', '2.0'],
    ids=["old", "new"])
@nox.parametrize(
    'database',
    ['postgres', 'mysql'],
    ids=["psql", "mysql"])
def tests(session, django, database):
    ...

运行nox --list时会产生这些会话:

* tests(psql, old)
* tests(mysql, old)
* tests(psql, new)
* tests(mysql, new)

会话对象

Nox 将使用 Session 类的一个实例来调用你的会话函数。

class Session(runner)

会话对象被传递到用户自定义的每个会话函数中。

这是在 Nox 会话中安装软件包和运行命令的主要途径。

  • bin——virtualenv 的 bin 目录
  • cd(dir)——chdir() 的一个别名
  • chdir(dir)——更改当前的工作目录
  • conda_install(args, *kwargs)[¶](https://nox.thea.codes/en/stable/config.html#nox.sessions.Session.conda_install)

调用conda install来在会话环境中的安装软件包。

直接安装软件包:

session.conda_install('pandas')
  session.conda_install('numpy', 'scipy')
  session.conda_install('--channel=conda-forge', 'dask==2.1.0')

根据 requirements.txt 文件来安装软件包:

session.conda_install('--file', 'requirements.txt')
  session.conda_install('--file', 'requirements-dev.txt')

不破坏 conda 已安装的依赖而安装软件包:

session.install('.', '--no-deps')
  # Install in editable mode.
  session.install('-e', '.', '--no-deps')

剩下的关键字参数跟 run() 相同。

  • env——一个环境变量的字典,传给所有的命令。
  • error(args, *kwargs)[¶](https://nox.thea.codes/en/stable/config.html#nox.sessions.Session.error)——立即中止会话并随意地记录一个错误。
  • install(args, *kwargs)[¶](https://nox.thea.codes/en/stable/config.html#nox.sessions.Session.install) ——调用 [pip](https://pip.readthedocs.org/) 在会话的 virtualenv 里安装包。

直接安装包:

session.install('pytest')
  session.install('requests', 'mock')
  session.install('requests[security]==2.9.1')

根据 requirements.txt 文件来安装软件包:

session.install('-r', 'requirements.txt')
  session.install('-r', 'requirements-dev.txt')

安装当前的包:

session.install('.')
  # Install in editable mode.
  session.install('-e', '.')

剩下的关键字参数跟 run() 相同。

  • interactive ——如果 Nox 在交互式会话中运行,则返回 True,否则返回 False。
  • log(args, *kwargs)[¶](https://nox.thea.codes/en/stable/config.html#nox.sessions.Session.log)——在会话期间输出一份日志。
  • notify(target) ——将给定的会话放在队列的末尾。

此方法是幂等的;对同一会话的多次通知无效。

参数:target (Union[str, Callable])——需要通知的会话。这可以指定适当的字符串(与nox -s 的使用相同)或使用函数对象。

  • posargs ——用于设置从命令行上传给 nox 的额外参数。
  • python ——传给@nox.session的 Python 版本。
  • run(args, env=None, kwargs) ——运行一个命令。

命令必须安装字符串列表指定,例如:

session.run('pytest', '-k', 'fast', 'tests/')
  session.run('flake8', '--import-order-style=google')

你不能把所有东西都当作一个字符串传递。例如,不可以这样:

session.run('pytest -k fast tests/')

你可以用env 为命令设置环境变量:

session.run(
      'bash', '-c', 'echo $SOME_ENV',
      env={'SOME_ENV': 'Hello'})

你还可以使用success_codes ,告诉 nox 将非零退出码视为成功。例如,如果你想将 pytest 的“tests discovered, but none selected”错误视为成功:

session.run(
      'pytest', '-k', 'not slow',
      success_codes=[0, 5])

在 Windows 上,像del这样的内置命令不能直接调用,但是你可以使用cmd /c 来调用它们:

session.run('cmd', '/c', 'del', 'docs/modules.rst')

参数:

  • env (dict or None)——用于向命令公开的环境变量字典。默认情况下,传递所有环境变量。
  • silent (bool) ——静默命令输出,除非命令失败。默认为 False。
  • success_codes (list, tuple, or None)——一系列被认为是成功的返回码。默认情况下,只有 0 被认为是成功的。
  • external(bool) ——如果为 False(默认值),那么不在 virtualenv 路径中的程序将发出告警。如果为 True,则不会发出告警。这些告警可以使用--error-on-external-run将其转换为错误。这对没有 virtualenv 的会话没有影响。
  • skip(args, *kwargs)[¶](https://nox.thea.codes/en/stable/config.html#nox.sessions.Session.skip) ——立即跳出会话,并随意记录一个告警。
  • virtualenv ——运行所有命令的 virtualenv。

修改 Noxfile 中的 Nox 行为

Nox 有各种命令行参数,可用于修改其行为。其中一些还可以在 Noxfile 中使用 nox.options 指定。例如,如果你想将 Nox 的 virtualenvs 存储在不同的目录中,而不需要每次都将它传递给 nox:

import nox
nox.options.envdir = ".cache"
@nox.session
def tests(session):
    ...

或者,如果你想提供一组默认运行的会话:

import nox
nox.options.sessions = ["lint", "tests-3.6"]
...

以下的选项可以在 Noxfile 中指定:

  • nox.options.envdir 等同于指定 –envdir.
  • nox.options.sessions 等同于指定 -s or –sessions.
  • nox.options.keywords 等同于指定 -k or –keywords.
  • nox.options.reuse_existing_virtualenvs 等同于指定 –reuse-existing-virtualenvs 。通过在调用时指定 --no-reuse-existing-virtualenvs ,你可以强制取消它。
  • nox.options.stop_on_first_error 等同于指定 –stop-on-first-error. 通过在调用时指定 --no-stop-on-first-error,你可以强制取消它。
  • nox.options.error_on_missing_interpreters 等同于指定 –error-on-missing-interpreters 。通过在调用时指定 --no-error-on-missing-interpreters ,你可以强制取消它。
  • nox.options.error_on_external_run 等同于指定 –error-on-external-run. 通过在调用时指定 --no-error-on-external-run ,你可以强制取消它。
  • nox.options.report 等同于指定 –report。

在调用 nox 时,命令行上指定的任何选项都优先于 Noxfile 中指定的选项。如果在命令行上指定了--sessions或--keywords,那么在 Noxfile 中指定的两个选项都将被忽略。


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
12月前
|
存储 数据采集 监控
Python定时爬取新闻网站头条:从零到一的自动化实践
在信息爆炸时代,本文教你用Python定时爬取腾讯新闻头条,实现自动化监控。涵盖请求、解析、存储、去重、代理及异常通知,助你构建高效新闻采集系统,适用于金融、电商、媒体等场景。(238字)
1750 2
|
12月前
|
JSON 算法 API
Python采集淘宝商品评论API接口及JSON数据返回全程指南
Python采集淘宝商品评论API接口及JSON数据返回全程指南
|
监控 安全 程序员
Python日志模块配置:从print到logging的优雅升级指南
从 `print` 到 `logging` 是 Python 开发的必经之路。`print` 调试简单却难维护,日志混乱、无法分级、缺乏上下文;而 `logging` 支持级别控制、多输出、结构化记录,助力项目可维护性升级。本文详解痛点、优势、迁移方案与最佳实践,助你构建专业日志系统,让程序“有记忆”。
1024 0
|
JSON API 数据安全/隐私保护
Python采集淘宝拍立淘按图搜索API接口及JSON数据返回全流程指南
通过以上流程,可实现淘宝拍立淘按图搜索的完整调用链路,并获取结构化的JSON商品数据,支撑电商比价、智能推荐等业务场景。
|
Cloud Native 算法 API
Python API接口实战指南:从入门到精通
🌟蒋星熠Jaxonic,技术宇宙的星际旅人。深耕API开发,以Python为舟,探索RESTful、GraphQL等接口奥秘。擅长requests、aiohttp实战,专注性能优化与架构设计,用代码连接万物,谱写极客诗篇。
2094 1
Python API接口实战指南:从入门到精通
|
JSON 缓存 开发者
淘宝商品详情接口(item_get)企业级全解析:参数配置、签名机制与 Python 代码实战
本文详解淘宝开放平台taobao.item_get接口对接全流程,涵盖参数配置、MD5签名生成、Python企业级代码实现及高频问题排查,提供可落地的实战方案,助你高效稳定获取商品数据。
|
JSON API 数据安全/隐私保护
Python采集淘宝评论API接口及JSON数据返回全流程指南
Python采集淘宝评论API接口及JSON数据返回全流程指南
|
机器学习/深度学习 编解码 Python
Python图片上采样工具 - RealESRGANer
Real-ESRGAN基于深度学习实现图像超分辨率放大,有效改善传统PIL缩放的模糊问题。支持多种模型版本,推荐使用魔搭社区提供的预训练模型,适用于将小图高质量放大至大图,放大倍率越低效果越佳。
979 3
|
人工智能 Ubuntu 前端开发
Dify部署全栈指南:AI从Ubuntu配置到HTTPS自动化的10倍秘籍
本文档介绍如何部署Dify后端服务及前端界面,涵盖系统环境要求、依赖安装、代码拉取、环境变量配置、服务启动、数据库管理及常见问题解决方案,适用于开发与生产环境部署。
2004 1
|
缓存 监控 供应链
唯品会自定义 API 自定义操作深度分析及 Python 实现
唯品会开放平台提供丰富API,支持商品查询、订单管理、促销活动等电商全流程操作。基于OAuth 2.0认证机制,具备安全稳定的特点。通过组合调用基础接口,可实现数据聚合、流程自动化、监控预警及跨平台集成,广泛应用于供应链管理、数据分析和智能采购等领域。结合Python实现方案,可高效完成商品搜索、订单分析、库存监控等功能,提升电商运营效率。

推荐镜像

更多