因此会有很多并行、串行dag等任务的编排。

简介: q

在Step步骤中,可以通过不同的标识来控制串行、并行。

“--”代表和上一步串行 ;

“–”代表和上一步并行。

如上图所示,我们可以看出,hello1与hello2a串行,hello2a与hello2b并行。

命令行运行结果

UI显示结果
我们的Argo Workflow编排样例

在实际过程中,由于业务形态种类多样,因此会有很多并行、串行dag等任务的编排。

其中包含根据上一步运行结果的不同来运行不同的后续步骤的编排,也有根据不同的外部业务调用不同API生成不同的步骤的编排。

监控工作流关心的指标

从监控的角度来看,主要有以下几个指标需要重点关注:

每个工作流的运行耗时;

工作流中失败的步骤

l工作流运行总数;

集群资源以及工作流资源消耗情况等。
————————————————

相关文章
|
7月前
|
Shell 开发工具 数据安全/隐私保护
构建作业
构建作业
43 1
|
16天前
|
运维 Kubernetes Serverless
阿里云Argo X K8s玩转工作流引擎,实现大规模并行计算
本文基于2024云栖大会田双坤的演讲,介绍了Kubernetes作为云原生操作系统的角色及其在各类任务中的应用,重点探讨了Argo Workflows在Kubernetes上编排并行任务的能力。面对自建Argo Workflows的挑战,如稳定性、成本和安全性等问题,阿里巴巴云推出了全托管的Serverless Argo工作流,提供全托管、免运维、可观测和易集成的特点,显著提升了任务编排的效率和稳定性。适用于数据处理、科学计算、自动驾驶仿真等多个领域。
|
2月前
|
运维 Kubernetes 数据处理
阿里云Argo X K8s玩转工作流引擎,实现大规模并行计算
Kubernetes已经成为事实的云原生操作系统,成为业务上云、容器化的标准。从过去无状态应用、企业核心应用,到现在AI时代的数据处理、AI训练、科学仿真等,越来越多的离线任务跑在K8s上。
|
4月前
|
Oracle Java 关系型数据库
Java10 Lambda 设计和实现问题之在双流 concat 的场景中,确保 s1 和 s2 流水线上的算子与 s3 流水线上的算子正确串联起来,如何实现
Java10 Lambda 设计和实现问题之在双流 concat 的场景中,确保 s1 和 s2 流水线上的算子与 s3 流水线上的算子正确串联起来,如何实现
|
分布式计算
188 DAG的生成
188 DAG的生成
48 0
|
机器学习/深度学习 存储 缓存
Plasticine: 面向并行模式的可重配架构(下)
Plasticine: 面向并行模式的可重配架构(下)
310 2
Plasticine: 面向并行模式的可重配架构(下)
|
存储 机器学习/深度学习 算法
Plasticine: 面向并行模式的可重配架构(上)
Plasticine: 面向并行模式的可重配架构(上)
294 0
Plasticine: 面向并行模式的可重配架构(上)
|
调度
第9章:工作流调度框架Oozie
第9章:工作流调度框架Oozie
242 0
|
分布式计算 监控 搜索推荐
【Airflow】工作流自动化和调度系统
2014年,Airbnb创造了一套工作流调度系统:Airflow。Airflow是灵活可扩展的工作流自动化和调度系统 。2019年成为Apache的顶级项目。它可以让程序员通过编程实现:编写、调度、监控工作流,主要针对有大量数据进行传递的场景,不适合解决流式任务(如spark streaming和Flink)。
1052 0
【Airflow】工作流自动化和调度系统