因此会有很多并行、串行dag等任务的编排。

简介: q

在Step步骤中,可以通过不同的标识来控制串行、并行。

“--”代表和上一步串行 ;

“–”代表和上一步并行。

如上图所示,我们可以看出,hello1与hello2a串行,hello2a与hello2b并行。

命令行运行结果

UI显示结果
我们的Argo Workflow编排样例

在实际过程中,由于业务形态种类多样,因此会有很多并行、串行dag等任务的编排。

其中包含根据上一步运行结果的不同来运行不同的后续步骤的编排,也有根据不同的外部业务调用不同API生成不同的步骤的编排。

监控工作流关心的指标

从监控的角度来看,主要有以下几个指标需要重点关注:

每个工作流的运行耗时;

工作流中失败的步骤

l工作流运行总数;

集群资源以及工作流资源消耗情况等。
————————————————

相关文章
|
监控 Shell Serverless
基于DAG的分布式任务调度平台-Maat
背景 什么是Maat Maat是一个基于开源项目Airflow的流程调度系统,它支持用户自定义地组装流程节点,流程可以在用户指定的时间触发(支持crontab格式),或由用户手动触发。 Maat的所有节点分布式地运行在Hippo上,由Drogo调度。
16981 0
|
调度
第9章:工作流调度框架Oozie
第9章:工作流调度框架Oozie
251 0
|
分布式计算
188 DAG的生成
188 DAG的生成
53 0
|
9月前
|
Shell 开发工具 数据安全/隐私保护
构建作业
构建作业
49 1
|
6月前
|
Oracle Java 关系型数据库
Java10 Lambda 设计和实现问题之在双流 concat 的场景中,确保 s1 和 s2 流水线上的算子与 s3 流水线上的算子正确串联起来,如何实现
Java10 Lambda 设计和实现问题之在双流 concat 的场景中,确保 s1 和 s2 流水线上的算子与 s3 流水线上的算子正确串联起来,如何实现
|
存储 分布式计算 关系型数据库
|
Java 流计算 并行计算
Storm集群中运行的各种组件及其并行
一、Storm中运行的组件      我们知道,Storm的强大之处就是可以很容易地在集群中横向拓展它的计算能力,它会把整个运算过程分割成多个独立的tasks在集群中进行并行计算。在Storm中,一个task就是运行在集群中的一个Spout或Bolt实例。      为了方便理解Storm如何并行处理我们分给它的任务,这里我先介绍一下在集群中涉及到Topology的四种组件:
1809 0
|
Java 调度
任务和调度:理解批量处理的关键设计
本文讲的是任务和调度:理解批量处理的关键设计,维基百科给批量处理的定义是指在没有人工干预的情况下,由一个计算机程序基于一份批量的输入执行一系列的任务的一种处理模式。
3950 0

热门文章

最新文章