DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。
188 DAG的生成
2023-11-01
39
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
188 DAG的生成
目录
相关文章
|
2月前
|
分布式计算
资源调度
监控
|
5月前
|
分布式计算
算法
调度
|
5月前
|
SQL
调度
数据库
|
分布式计算
调度
Spark
|
调度
|
消息中间件
监控
Serverless
深度解析 | 基于DAG的分布式任务调度平台：Maat
10897
0
0
|
监控
API
|
容器
Kubernetes
Cloud Native
|
监控
Shell
Serverless
基于DAG的分布式任务调度平台-Maat
背景
什么是Maat
Maat是一个基于开源项目Airflow的流程调度系统，它支持用户自定义地组装流程节点，流程可以在用户指定的时间触发（支持crontab格式），或由用户手动触发。
Maat的所有节点分布式地运行在Hippo上，由Drogo调度。
16783
0
8
E-MapReduce集群使用Oozie工作流简单示例
本文简单介绍了，如何在E-MapReduce上提交Oozie workflow job。提供了可以直接下载运行的示例代码，欢迎使用。
2994
0
1