备案控制台

开发者社区> 问答> 正文

Spark中将DAG划分为Stage核心算法是什么？

Spark中将DAG划分为Stage核心算法是什么？

展开

收起

芯在这 2021-12-10 22:32:05 300 0

1 条回答

写回答

取消提交回答

真的很搞笑

核心算法：从后往前回溯，遇到窄依赖加入本stage，遇见宽依赖进行Stage切分。Spark内核会从触发Action操作的那个RDD开始从后往前推，首先会为最后一个RDD创建一个stage，然后继续倒推，如果发现对某个RDD是宽依赖，那么就会将宽依赖的那个RDD创建一个新的stage，那个RDD就是新的stage的最后一个RDD。然后依次类推，继续继续倒推，根据窄依赖或者宽依赖进行stage的划分，直到所有的RDD全部遍历完成为止。

2021-12-10 22:32:27

赞同展开评论打赏

问答分类：

分布式计算算法 Spark

问答标签：

apache spark stage apache spark划分 apache spark DAG stage算法 apache spark dag划分stage

问答地址：

开发者社区 > 大数据 > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

Spark在运行架构中DAG计算是怎么完成的呢？

476

1

0

spark当中的Stage具体是什么意思？

689

1

0

spark当中的DAG 具体是什么意思？

592

0

0

Spark中将DAG划分为Stage剖析是什么？

350

1

0

Spark中Application多个job多个Stage是什么？

433

1

0

Spark中将DAG划分为Stage的划分依据是什么？

676

1

0

spark的stage是怎样来划分的？

235

1

0

spark任务想完整的部署，发布，执行调度，仅仅maxcompute组件权限够么，还需要datawo

814

1

0

Spark 读取Maxcompute 中的表进行处理，怎么弄？

826

1

0

maxcompute的底层引擎我用的都是mr，他是可以切换成spark吗？

1873

1

0

问答排行榜

最热

最新

1 通过阿里云代备案系统进行个人快速备案 2699889

2 【大咖问答】对话PostgreSQL 中国社区发起人之一，阿里云数据库高级专家德哥 1818314

3 据说在家办公的程序员是这样写代码的？ 1792338

4 阿里云开放端口权限 689923

5 如何升级配置 536074

6 【藏经阁一起读（27）】本周推荐《Apache Flink案例集（2022版）》，你有哪些心得？ 522460

7 【精品问答】python技术1000问(1) 514001

8 Flink Forward Asia 2021 有奖问答 512807

9 Linux Bash严重漏洞修复紧急通知（已全部给出最终修复方案） 456921

10 OceanBase 使用动画（持续更新） 359266

11 阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本 329722

12 OSS存储服务-客户端工具 321336

13 为体验实验室取一个新名字。 307317

14 企业邮箱发送邮件时，若出现投递失败产生退信，内容提示包含如下： the mta server of * reply:550 failed to meet SPF requirements 或者 the mta server of 163.com — 163mx01.mxmail.netease.com(220.181.14.141) reply:550 MI:SPF mx14,QMCowECpA0qTiftVaeB3Cg—.872S2 1442548128 http://mail.163.com/help 303858

15 Win Server 2003-2016 加密勒索事件必打补丁合集 295162

16 FLASH播放器，在IE浏览器下显示请确定您的域名已完成备案和CNAME绑定 283657

17 安全组详解，新手必看教程 277260

18 写code还是做管理，开发者如何进行职业规划？ 268469

19 惊喜翻倍：免费ECS+免费环境配置~！(ECS免费体验6个月活动3月31日结束) 255828

20 阿里云手机和阿云浏览器连接问题专帖 235631

1 国内AI大模型高考数学成绩超GPT-4o，如何看待这一结果？ 511

2 如何避免“写代码5分钟，调试2小时”的尴尬？ 430

3 通义灵码生成Git Commit的时候，偶尔生成中文，偶尔生成英文，根本无法控制生成的语言。 107

4 一键部署3D卡通风格模型，分享部署过程及使用体验 504

5 展示你通过AI修饰的自然风光照片，并讲述你的拍摄和编辑过程 884

6 机器学习PAI现在一直在重试，怎样停掉？ 213

7 请问机器学习PAI eas服务拉取dockerhub失败怎么办？ 169

8 请教下机器学习PAI的代码配置没有链接测试吗？ 100

9 平头哥芯片W800:芯片如何购买？ 137

10 阿里云Grafana升级10后已有的飞书webhook 报警机器人不再工作。请问如何排查？ 145

11 请问通义灵码IDEA生成Git Commit Message 如何默认生成中文注释 100

12 Nacos登录密码忘记了如何修改？ 250

13 你知道APP是怎么开发的吗？ 1478

14 如何提高企业的业务稳定性？ 619

15 钉钉宜搭，A提交一个表单，如何设置该表单只能给B看？ 138

16 百问求答 | 回答问题即有机会得米家落地扇 326

17 集成&自动化：3层触发时，新增和删除触发正常，但编辑时不正常 107

18 分享AI代码助手的使用体验 756

19 分享一张AI生成的“老照片”，讲讲你与它的故事 999

20 idea上的通义灵码生成git提交消息老是会变成英文没有切换中文的入口 268

相关课程

更多

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段

379

33

去学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段

118

25

去学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段

146

32

去学习

Go语言核心编程 - 数据结构和算法

1792

47

去学习

大数据实时计算框架Spark快速入门

955

93

去学习

神经网络概览及算法详解

1217

36

去学习

推荐问答

乘风问答官招募中！机械键盘免费拿

相关电子书

更多

Hybrid Cloud and Apache Spark 立即下载

Scalable Deep Learning on Spark 立即下载

Comparison of Spark SQL with Hive 立即下载

相关实验场景

更多