因此会有很多并行、串行dag等任务的编排。

简介: q

在Step步骤中,可以通过不同的标识来控制串行、并行。

“--”代表和上一步串行 ;

“–”代表和上一步并行。

如上图所示,我们可以看出,hello1与hello2a串行,hello2a与hello2b并行。

命令行运行结果

UI显示结果
我们的Argo Workflow编排样例

在实际过程中,由于业务形态种类多样,因此会有很多并行、串行dag等任务的编排。

其中包含根据上一步运行结果的不同来运行不同的后续步骤的编排,也有根据不同的外部业务调用不同API生成不同的步骤的编排。

监控工作流关心的指标

从监控的角度来看,主要有以下几个指标需要重点关注:

每个工作流的运行耗时;

工作流中失败的步骤

l工作流运行总数;

集群资源以及工作流资源消耗情况等。
————————————————

相关文章
|
7月前
|
Shell 开发工具 数据安全/隐私保护
构建作业
构建作业
43 1
|
4月前
|
DataWorks 算法 调度
B端算法实践问题之配置脚本以支持blink批处理作业的调度如何解决
B端算法实践问题之配置脚本以支持blink批处理作业的调度如何解决
53 1
|
4月前
|
Oracle Java 关系型数据库
Java10 Lambda 设计和实现问题之在双流 concat 的场景中,确保 s1 和 s2 流水线上的算子与 s3 流水线上的算子正确串联起来,如何实现
Java10 Lambda 设计和实现问题之在双流 concat 的场景中,确保 s1 和 s2 流水线上的算子与 s3 流水线上的算子正确串联起来,如何实现
|
分布式计算
188 DAG的生成
188 DAG的生成
48 0
|
缓存 算法 Java
分布式任务处理:XXL-JOB分布式任务调度框架(三)
分布式任务处理:XXL-JOB分布式任务调度框架
843 0
|
分布式计算 前端开发 Go
如何优雅地实现并发编排任务
如何优雅地实现并发编排任务
93 0
如何优雅地实现并发编排任务
|
调度
第9章:工作流调度框架Oozie
第9章:工作流调度框架Oozie
242 0
|
分布式计算 监控 搜索推荐
【Airflow】工作流自动化和调度系统
2014年,Airbnb创造了一套工作流调度系统:Airflow。Airflow是灵活可扩展的工作流自动化和调度系统 。2019年成为Apache的顶级项目。它可以让程序员通过编程实现:编写、调度、监控工作流,主要针对有大量数据进行传递的场景,不适合解决流式任务(如spark streaming和Flink)。
1054 0
【Airflow】工作流自动化和调度系统
|
SQL 分布式计算 资源调度
EB级计算平台调度系统伏羲DAG 2.0:构建更动态更灵活的分布式计算生态
伏羲(Fuxi)是十年前创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute(内部代号ODPS),分布式调度 Fuxi),过去十年来,伏羲在技术能力上每年都有新的进展和突破,2013年5K,2015年Sortbenchmark世界冠军,2017年超大规模离在/在离线混部能力,2019年的 Yugong 发布并且论文被VLDB2019接受等。
2321 0
EB级计算平台调度系统伏羲DAG 2.0:构建更动态更灵活的分布式计算生态