强大的 Python 任务自动化工具!invoke 十分钟入门指南

简介: invoke 是从著名的远程部署工具 Fabric 中分离出来的,它与 paramiko 一起是 Fabric 的两大最核心的基础组件。

1、invoke 可以做什么?

invoke 是从著名的远程部署工具 Fabric 中分离出来的,它与 paramiko 一起是 Fabric 的两大最核心的基础组件。

除了作为命令行工具,它专注于“任务执行”(task execution),可以标注和组织任务,并通过 CLI(command-line interface,即命令行界面) 和 shell 命令来执行任务。

同样是任务自动化工具,invoke 与我们之前介绍过的 tox/nox 在侧重点上有所不同:

  • tox/nox 主要是在打包、测试、持续集成等方面的自动化(当然它们能做的还不止于此)
  • invoke 则更具普遍性,可以用在任何需要“执行任务”的场景,可以是无相关性的任务组,也可以是有顺序依赖的分步骤的工作流

invoke 在 Github 上有 2.7K star,十分受欢迎,接下来我们看看它如何使用?

2、怎么使用 invoke?

首先,安装很简单:pip install invoke

其次,简单使用时有以下要素:

  • 任务文件。创建一个 tasks.py 文件。
  • @task 装饰器。在一个函数上添加 @task 装饰器,即可将该函数标记为一个任务,接受 invoke 的调度管理。
  • 上下文参数。给被装饰的函数添加一个上下文参数(context argument),注意它必须作为第一个参数,而命名按约定可以是cctxcontext
  • 命令行执行。在命令行中执行invoke --list 来查看所有任务,运行invoke xxx 来执行名为 xxx 的任务。命令行中的“invoke”可以简写成“inv”。

以下是一个简单的示例:

# 文件名:tasks.py
from invoke import task
@task
def hello(c):
    print("Hello world!")
@task
def greet(c, name):
    c.run(f"echo {name}加油!")复制代码

在上述代码中,我们定义了两个任务:

  • ”hello“任务调用了 Python 内置的 print 函数,会打印一个字符串“Hello world!”
  • “greet”任务调用了上下文参数的 run() 方法,可以执行 shell 命令,同时本例中还可以接收一个参数。在 shell 命令中,echo 可理解成打印,所以这也是一个打印任务,会打印出“xxx加油!”(xxx 是我们传的参数)

以上代码写在 tasks.py 文件中,首先导入装饰器 from invoke import task,@task 装饰器可以不带参数,也可以带参数(参见下一节),被它装饰了的函数就是一个任务。

上下文参数(即上例的“c”)必须要显式地指明,如果缺少这个参数,执行时会抛出异常:“TypeError: Tasks must have an initial Context argument!”

然后在 tasks.py 文件的同级目录中,打开命令行窗口,执行命令。如果执行的位置找不到这个任务文件,则会报错:“Can't find any collection named 'tasks'!”

正常情况下,通过执行inv --list 或者inv -l ,可以看到所有任务的列表(按字母表顺序排序):

>>> inv -l
Available tasks:
  greet
  hello复制代码

我们依次执行这两个任务,其中传参时可以默认按位置参数传参,也可以指定关键字传参。结果是:

>>> inv hello
Hello world!
>>> inv greet 武汉
武汉加油!
>>> inv greet --name="武汉"
武汉加油!复制代码

缺少传参时,报错:'greet' did not receive required positional arguments: 'name';多余传参时,报错:No idea what '???' is!

3、 如何用好 invoke?

介绍完 invoke 的简单用法,我们知道了它所需的几项要素,也大致知道了它的使用步骤,接下来是它的其它用法。

3.1 添加帮助信息

在上例中,“inv -l”只能看到任务名称,缺少必要的辅助信息,为了加强可读性,我们可以这样写:

@task(help={'name': 'A param for test'})
def greet(c, name):
    """
    A test for shell command.
    Second line.
    """
    c.run(f"echo {name}加油!")复制代码

其中,文档字符串的第一行内容会作为摘录,在“inv -l”的查询结果中展示,而且完整的内容与 @task 的 help 内容,会对应在“inv --help”中展示:

>>> inv -l
Available tasks:
  greet   A test for shell command.
>>> inv --help greet
Usage: inv[oke] [--core-opts] greet [--options] [other tasks here ...]
Docstring:
  A test for shell command.
  Second line.
Options:
  -n STRING, --name=STRING   A param for test复制代码

3.2 任务的分解与组合

通常一个大任务可以被分解成一组小任务,反过来,一系列的小任务也可能被串连成一个大任务。在对任务作分解、抽象与组合时,这里有两种思路:

  • 对内分解,对外统一:只定义一个 @task 的任务,作为总体的任务入口,实际的处理逻辑可以抽象成多个方法,但是外部不感知到它们
  • 多点呈现,单点汇总:定义多个 @task 的任务,外部可以感知并分别调用它们,同时将有关联的任务组合起来,调用某个任务时,也执行其它相关联的任务

第一种思路很容易理解,实现与使用都很简单,但是其缺点是缺少灵活性,难于单独执行其中的某个/些子任务。适用于相对独立的单个任务,通常也不需要 invoke 就能做到(使用 invoke 的好处是,拥有命令行的支持)。

第二种思路更加灵活,既方便单一任务的执行,也方便多任务的组合执行。实际上,这种场景才是 invoke 发挥最大价值的场景。

那么,invoke 如何实现分步任务的组合呢?可以在 @task 装饰器的“pre”与“post”参数中指定,分别表示前置任务与后置任务:

@task
def clean(c):
    c.run("echo clean")
@task
def message(c):
    c.run("echo message")
@task(pre=[clean], post=[message])
def build(c):
    c.run("echo build")复制代码

clean 与 message 任务作为子任务,可以单独调用,也可以作为 build 任务的前置与后置任务而组合使用:

>>> inv clean
clean
>>> inv message
message
>>> inv build
clean
build
message复制代码

这两个参数是列表类型,即可设置多个任务。另外,在默认情况下,@task 装饰器的位置参数会被视为前置任务,接着上述代码,我们写一个:

@task(clean, message)
def test(c):
    c.run("echo test")复制代码

然后执行,会发现两个参数都被视为了前置任务:

>>> inv test
clean
message
test复制代码

3.3 模块的拆分与整合

如果要管理很多相对独立的大型任务,或者需要多个团队分别维护各自的任务,那么,就有必要对 tasks.py 作拆分与整合。

例如,现在有多份 tasks.py,彼此是相对完整而独立的任务模块,不方便把所有内容都放在一个文件中,那么,如何有效地把它们整合起来管理呢?

invoke 提供了这方面的支持。首先,只能保留一份名为“tasks.py”的文件,其次,在该文件中导入其它改名后的任务文件,最后,使用 invoke 的 Collection 类把它们关联起来。

我们把本文中第一个示例文件改名为 task1.py,并新建一个 tasks.py 文件,内容如下:

# 文件名:tasks.py
from invoke import Collection, task
import task1
@task
def deploy(c):
    c.run("echo deploy")
namespace = Collection(task1, deploy)复制代码

每个 py 文件拥有独立的命名空间,而在此处,我们用 Collection 可以创建出一个新的命名空间,从而实现对所有任务的统一管理。效果如下:

>>> inv -l
Available tasks:
  deploy
  task1.greet
  task1.hello
>>> inv deploy
deploy
>>> inv task1.hello
Hello world!
>>> inv task1.greet 武汉
武汉加油!复制代码

关于不同任务模块的导入、嵌套、混合、起别名等内容,还有不少细节。

3.4 交互式操作

某些任务可能需要交互式的输入,例如要求输入“y”,按回车键后才会继续执行。如果在任务执行期间需要人工参与,那自动化任务的能力将大打折扣。

invoke 提供了在程序运行期的监控能力,可以监听stdoutstderr ,并支持在stdin 中输入必要的信息。

例如,假设某个任务(excitable-program)在执行时会提示“Are you ready? [y/n]”,只有输入了“y”并按下回车键,才会执行后续的操作。

那么,在代码中指定 responses 参数的内容,只要监听到匹配信息,程序会自动执行相应的操作:

responses = {r"Are you ready? \[y/n\] ": "y\n"}
ctx.run("excitable-program", responses=responses)复制代码

responses 是字典类型,键值对分别为监听内容及其回应内容。需注意,键值会被视为正则表达式,所以像本例中的方括号就要先转义。

3.5 作为命令行工具库

Python 中有不少好用的命令行工具库,比如标准库中的argparse、Flask 作者开源的click 与谷歌开源的fire 等等,而 invoke 也可以作为命令行工具库使用。

(PS:有位 Prodesire 同学写了“Python 命令行之旅”的系列文章,详细介绍了其它几个命令行工具库的用法,我在公众号“Python猫”里转载过大部分,感兴趣的同学可查看历史文章。)

事实上,Fabric 项目最初把 invoke 分离成独立的库,就是想让它承担解析命令行与执行子命令的任务。所以,除了作为自动化任务管理工具,invoke 也可以被用于开发命令行工具。

官方文档中给出了一个示例,我们可以了解到它的基本用法。

假设我们要开发一个 tester 工具,让用户pip install tester 安装,而此工具提供两个执行命令:tester unittester intergration

这两个子命令需要在 tasks.py 文件中定义:

# tasks.py
from invoke import task
@task
def unit(c):
    print("Running unit tests!")
@task
def integration(c):
    print("Running integration tests!")复制代码

然后在程序入口文件中引入它:

# main.py
from invoke import Collection, Program
from tester import tasks
program = Program(namespace=Collection.from_module(tasks), version='0.1.0')复制代码

最后在打包文件中声明入口函数:

# setup.py
setup(
    name='tester',
    version='0.1.0',
    packages=['tester'],
    install_requires=['invoke'],
    entry_points={
        'console_scripts': ['tester = tester.main:program.run']
    }
)复制代码

如此打包发行的库,就是一个功能齐全的命令行工具了:

$ tester --version
Tester 0.1.0
$ tester --help
Usage: tester [--core-opts] <subcommand> [--subcommand-opts] ...
Core options:
  ... core options here, minus task-related ones ...
Subcommands:
  unit
  integration
$ tester --list
No idea what '--list' is!
$ tester unit
Running unit tests!复制代码

上手容易,开箱即用,invoke 不失为一款可以考虑的命令行工具库。

4、小结

invoke 作为从 Fabric 项目中分离出来的独立项目,它自身具备一些完整而强大的功能,除了可用于开发命令行工具,它还是著名的任务自动化工具。

本文介绍了它的基础用法与 5 个方面的中级内容,相信读者们会对它产生一定的了解。



目录
打赏
0
0
0
0
65
分享
相关文章
Python入门修炼:开启你在大数据世界的第一个脚本
Python入门修炼:开启你在大数据世界的第一个脚本
54 6
OWL:告别繁琐任务!开源多智能体系统实现自动化协作,效率提升10倍
OWL 是基于 CAMEL-AI 框架开发的多智能体协作系统,通过智能体之间的动态交互实现高效的任务自动化,支持角色分配、任务分解和记忆功能,适用于代码生成、文档撰写、数据分析等多种场景。
832 13
OWL:告别繁琐任务!开源多智能体系统实现自动化协作,效率提升10倍
Python创意爱心代码大全:从入门到高级的7种实现方式
本文分享了7种用Python实现爱心效果的方法,从简单的字符画到复杂的3D动画,涵盖多种技术和库。内容包括:基础字符爱心(一行代码实现)、Turtle动态绘图、Matplotlib数学函数绘图、3D旋转爱心、Pygame跳动动画、ASCII艺术终端显示以及Tkinter交互式GUI应用。每种方法各具特色,适合不同技术水平的读者学习和实践,是表达创意与心意的绝佳工具。
194 0
Python入门:8.Python中的函数
### 引言 在编写程序时,函数是一种强大的工具。它们可以将代码逻辑模块化,减少重复代码的编写,并提高程序的可读性和可维护性。无论是初学者还是资深开发者,深入理解函数的使用和设计都是编写高质量代码的基础。本文将从基础概念开始,逐步讲解 Python 中的函数及其高级特性。
Python入门:8.Python中的函数
Python入门:9.递归函数和高阶函数
在 Python 编程中,函数是核心组成部分之一。递归函数和高阶函数是 Python 中两个非常重要的特性。递归函数帮助我们以更直观的方式处理重复性问题,而高阶函数通过函数作为参数或返回值,为代码增添了极大的灵活性和优雅性。无论是实现复杂的算法还是处理数据流,这些工具都在开发者的工具箱中扮演着重要角色。本文将从概念入手,逐步带你掌握递归函数、匿名函数(lambda)以及高阶函数的核心要领和应用技巧。
Python入门:9.递归函数和高阶函数
Python 编程基础与实战:从入门到精通
本文介绍Python编程语言,涵盖基础语法、进阶特性及实战项目。从变量、数据类型、运算符、控制结构到函数、列表、字典等基础知识,再到列表推导式、生成器、装饰器和面向对象编程等高级特性,逐步深入。同时,通过简单计算器和Web爬虫两个实战项目,帮助读者掌握Python的应用技巧。最后,提供进一步学习资源,助你在Python编程领域不断进步。
2025年销售自动化工具选型指南
本文探讨了企业在数字经济时代选择合适CRM系统的重要性,分析了选型的5大核心维度:AI能力、全流程闭环管理、生态集成能力、数据安全合规及供应商综合实力。同时对比了5家国内外CRM厂商,如Salesforce、纷享销客、Hubspot等,并指出企业常遇的3大选型误区,包括功能冗余、忽视数据迁移成本和迷信行业模板。文章强调,适合企业的CRM需与战略、管理和业务流程深度适配,而非单纯追求技术堆砌。最终提醒管理者,选择CRM时应以实际需求为导向,而非盲目迷信国际品牌。
Ansible与Jenkins:自动化工具的对比
Ansible和Jenkins是自动化领域的两大巨头。Ansible专注于配置管理和任务自动化,采用无代理架构,使用YAML定义配置,具有幂等性和可扩展性。Jenkins则擅长持续集成和持续交付(CI/CD),支持丰富的插件生态系统,适用于自动化构建、测试和部署。两者各有优势,Ansible适合配置管理与大规模部署,Jenkins则在CI/CD方面表现出色。结合使用可创建更强大的自动化工作流,提升团队生产力和软件质量。选择工具时应根据具体需求决定。
Python 高级编程与实战:深入理解性能优化与调试技巧
本文深入探讨了Python的性能优化与调试技巧,涵盖profiling、caching、Cython等优化工具,以及pdb、logging、assert等调试方法。通过实战项目,如优化斐波那契数列计算和调试Web应用,帮助读者掌握这些技术,提升编程效率。附有进一步学习资源,助力读者深入学习。
[oeasy]python081_ai编程最佳实践_ai辅助编程_提出要求_解决问题
本文介绍了如何利用AI辅助编程解决实际问题,以猫屎咖啡的购买为例,逐步实现将购买斤数换算成人民币金额的功能。文章强调了与AI协作时的三个要点:1) 去除无关信息,聚焦目标;2) 将复杂任务拆解为小步骤,逐步完成;3) 巩固已有成果后再推进。最终代码实现了输入验证、单位转换和价格计算,并保留两位小数。总结指出,在AI时代,人类负责明确目标、拆分任务和确认结果,AI则负责生成代码、解释含义和提供优化建议,编程不会被取代,而是会更广泛地融入各领域。
81 28

热门文章

最新文章