Argo Workflow简单样例——dag

简介: q

什么是Argo Workflow

Argo Workflow是一个开源项目,为Kubernetes提供Container-native工作流程,主要通过Kubernetes CRD实现。它有四大特点:

容器云原生:工作流的每一步都是一个容器,可以通过环境变量注入配置;

建模:将多步骤工作流建模为一系列任务,或者使用有向无环图(DAG)描述任务之间的依赖关系;

易调度:可以在短时间内轻松运行用于机器学习或数据处理的计算密集型作业;

配置简单:在Kubernetes上运行CI/CD Pipeline,无需复杂的软件配置。

云原生工作流种类多样,为什么要选择Argo Workflow呢?

Airflow虽然是老牌任务管理、调度、监控,但存在语言强绑定以及过于依赖Python的缺点。

K8s原生Workflow的使用简单直接,但灵活度过差。

Apache Dolphin Scheduler的界面十分友好,任务定制简单,但API不友好,模板编排不灵活。

Argo Workflow与云原生结合紧密,专注于编排并行任务,容器编排灵活,并且模板编排支持模块化,能够有效提高调度效率。

Argo Workflow简单样例
Argo Workflow简单样例——dag

在编排过程中,首先定义一个echo模板,将模板的输入参数message直接打印到控制台。

其中,dag编排任务过程中最关键的部分是通过dependencies进行依赖。上图中的依赖关系为:B依赖A、C依赖A、D依赖B与C,故任务的执行顺序十分明朗:A先执行,随后B与C同时执行,最后执行D。
————————————————

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
68 Azkaban Command类型多job工作流flow
68 Azkaban Command类型多job工作流flow
58 0
|
消息中间件 存储 监控
五分钟快速了解Airflow工作流
简介 Airflow是一个以编程方式创作、调度和监控工作流的平台。 使用 Airflow 将工作流创作为有向无环图(DAG)任务。 Airflow 调度程序按照你指定的依赖项在一组workers上执行您的任务。同时,Airflow拥有丰富的命令行实用程序使得在DAG上进行复杂的诊断变得轻而易举。并且提供了丰富的用户界面使可视化生产中运行的工作流、监控进度和需要排查问题时变得非常容易。 当工作流被定义为代码时,它们变得更易于维护、可版本化、可测试和协作。
|
7月前
|
jenkins 持续交付 开发者
FLOW流水线YAML使用体验
在创建过程中,选择YAML模板方式有时不支持,而自由主机方式则正常。YAML编辑器提供详细提示和补全功能,具备错误定位和校验,有助于入门者。它适用于测试、执行、部署和编码等场景,相比Jenkins,配置更简单,引导更完善,降低了CI/CD的入门难度,尤其适合个人开发者进行定制化需求操作。
244 2
|
5月前
|
存储 弹性计算 运维
如何使用Argo Workflows编排基因计算工作流?
为了高效、准确地整合和分析大量基因计算数据,工作流的自动化编排成为了一项关键技术,而容器化、灵活、易用的工作流引擎Argo Workflows在其中脱颖而出,成为串联基因计算各个环节的得力助手。
|
6月前
|
存储 监控 测试技术
Agent Workflow
【6月更文挑战第25天】
182 3
|
7月前
|
SQL 调度 数据库
Airflow的Dag
Airflow的Dag
105 0
|
Kubernetes Java Docker
工作流 workflow
工作流:就是一个可以处理复杂情况的状态机。
377 0
|
开发工具 git
Gitlab----Pipline流水线语法only、except、rules、workflow
Gitlab----Pipline流水线语法only、except、rules、workflow
674 0
Gitlab----Pipline流水线语法only、except、rules、workflow
E-MapReduce集群使用Oozie工作流简单示例
本文简单介绍了,如何在E-MapReduce上提交Oozie workflow job。提供了可以直接下载运行的示例代码,欢迎使用。
3021 0