DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。
188 DAG的生成
2023-11-01
48
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
188 DAG的生成
目录
相关文章
|
消息中间件
存储
监控
五分钟快速了解Airflow工作流
简介
Airflow是一个以编程方式创作、调度和监控工作流的平台。
使用 Airflow 将工作流创作为有向无环图(DAG)任务。 Airflow 调度程序按照你指定的依赖项在一组workers上执行您的任务。同时，Airflow拥有丰富的命令行实用程序使得在DAG上进行复杂的诊断变得轻而易举。并且提供了丰富的用户界面使可视化生产中运行的工作流、监控进度和需要排查问题时变得非常容易。
当工作流被定义为代码时，它们变得更易于维护、可版本化、可测试和协作。
2701
1
1
|
4月前
|
分布式计算
资源调度
监控
|
7月前
|
分布式计算
算法
调度
|
7月前
|
SQL
调度
数据库
|
分布式计算
调度
Spark
|
数据库
数据中心
消息中间件
Exchange DAG学习笔记
1992
0
0
|
调度
|
监控
API
|
容器
Kubernetes
Cloud Native
|
监控
Shell
Serverless
基于DAG的分布式任务调度平台-Maat
背景
什么是Maat
Maat是一个基于开源项目Airflow的流程调度系统，它支持用户自定义地组装流程节点，流程可以在用户指定的时间触发（支持crontab格式），或由用户手动触发。
Maat的所有节点分布式地运行在Hippo上，由Drogo调度。
16900
0
8
热门文章
最新文章
1
docker容器里安装ssh
2
优秀的代码都是如何分层的？
3
RDS入门——Excel文件转存到RDS数据库实践
4
3、Python与设计模式--建造者模式
5
PostgreSQL SQL HINT的使用
6
跟阿里云技术专家阙寒一起深度了解视频直播CDN技术
7
AjaxFileUploader上传插件 兼容性好
8
（转载） 数组a[]={3,5,2,4,1,8}，要求从a中找出所有“和”等于10的子集
9
SAP WM Movement Type Mail Control for Background processing
10
Ext 4 概述（七）之面板Panel & 杂项
1
自学记录HarmonyOS Next DRM API 13：构建安全的数字内容保护系统
43
2
《MaxFrame：数据处理的卓越实践与提升》
58
3
《DataWorks：数据处理的卓越实践与改进思考》
51
4
三维球体空间中光线反射模拟与三维点云提取matlab仿真
50
5
《多模态数据信息提取解决方案的体验与部署》
48
6
基于PSO优化的PV光伏发电系统simulink建模与仿真
57
7
数据链中常见电磁干扰matlab仿真,对比噪声调频,线性调频,噪声,扫频,灵巧五种干扰模型
51
8
《破局之路：人工智能产业的健康发展》
40
9
《强化学习算法在动态环境中的优化之路》
44
10
《大模型训练成本高，如何在不牺牲性能的前提下破局》
43