Argo Workflow简单样例——dag

简介: q

什么是Argo Workflow

Argo Workflow是一个开源项目,为Kubernetes提供Container-native工作流程,主要通过Kubernetes CRD实现。它有四大特点:

容器云原生:工作流的每一步都是一个容器,可以通过环境变量注入配置;

建模:将多步骤工作流建模为一系列任务,或者使用有向无环图(DAG)描述任务之间的依赖关系;

易调度:可以在短时间内轻松运行用于机器学习或数据处理的计算密集型作业;

配置简单:在Kubernetes上运行CI/CD Pipeline,无需复杂的软件配置。

云原生工作流种类多样,为什么要选择Argo Workflow呢?

Airflow虽然是老牌任务管理、调度、监控,但存在语言强绑定以及过于依赖Python的缺点。

K8s原生Workflow的使用简单直接,但灵活度过差。

Apache Dolphin Scheduler的界面十分友好,任务定制简单,但API不友好,模板编排不灵活。

Argo Workflow与云原生结合紧密,专注于编排并行任务,容器编排灵活,并且模板编排支持模块化,能够有效提高调度效率。

Argo Workflow简单样例
Argo Workflow简单样例——dag

在编排过程中,首先定义一个echo模板,将模板的输入参数message直接打印到控制台。

其中,dag编排任务过程中最关键的部分是通过dependencies进行依赖。上图中的依赖关系为:B依赖A、C依赖A、D依赖B与C,故任务的执行顺序十分明朗:A先执行,随后B与C同时执行,最后执行D。
————————————————

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
7月前
68 Azkaban Command类型多job工作流flow
68 Azkaban Command类型多job工作流flow
29 0
|
消息中间件 存储 监控
五分钟快速了解Airflow工作流
简介 Airflow是一个以编程方式创作、调度和监控工作流的平台。 使用 Airflow 将工作流创作为有向无环图(DAG)任务。 Airflow 调度程序按照你指定的依赖项在一组workers上执行您的任务。同时,Airflow拥有丰富的命令行实用程序使得在DAG上进行复杂的诊断变得轻而易举。并且提供了丰富的用户界面使可视化生产中运行的工作流、监控进度和需要排查问题时变得非常容易。 当工作流被定义为代码时,它们变得更易于维护、可版本化、可测试和协作。
|
23天前
|
SQL 调度 数据库
Airflow的Dag
Airflow的Dag
30 0
|
10月前
|
Kubernetes Java Docker
工作流 workflow
工作流:就是一个可以处理复杂情况的状态机。
284 0
|
存储 Kubernetes API
Linkerd 2.10(Step by Step)—将 GitOps 与 Linkerd 和 Argo CD 结合使用
Linkerd 2.10(Step by Step)—将 GitOps 与 Linkerd 和 Argo CD 结合使用
618 0
Linkerd 2.10(Step by Step)—将 GitOps 与 Linkerd 和 Argo CD 结合使用

热门文章

最新文章