开发者社区 问答 正文

Spark中将DAG划分为Stage核心算法是什么?

Spark中将DAG划分为Stage核心算法是什么?

展开
收起
芯在这 2021-12-10 22:32:05 327 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 核心算法:从后往前回溯,遇到窄依赖加入本stage,遇见宽依赖进行Stage切分。Spark内核会从触发Action操作的那个RDD开始从后往前推,首先会为最后一个RDD创建一个stage,然后继续倒推,如果发现对某个RDD是宽依赖,那么就会将宽依赖的那个RDD创建一个新的stage,那个RDD就是新的stage的最后一个RDD。然后依次类推,继续继续倒推,根据窄依赖或者宽依赖进行stage的划分,直到所有的RDD全部遍历完成为止。

    2021-12-10 22:32:27 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论