开发者社区> 问答> 正文

stage是怎么划分的?

stage是怎么划分的?

展开
收起
游客fbdr25iajcjto 2021-12-12 23:44:22 2435 0
1 条回答
写回答
取消 提交回答
  • 涉及的数据结构:栈、HashSet

    1.通过最后的RDD,获取父RDD

    2.将finalRDD放入栈中,然后出栈,进行for循环的找到RDD的依赖,需要注意的是RDD可能有多个依赖

    3.如果RDD依赖是ShuffleDependency,那么就可以划分成为一个新的Stage,然后通过getShuffleMapStage()获取这个stage的父stage;如果是一般的窄依赖,那么将会入栈

    4.通过getShuffleMapStage()递归调用,得到父stage;一直到父stage是null

    5.最后返回stage的集合

    2021-12-12 23:44:52
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载