开发者社区> 问答> 正文

spark当中的Stage具体是什么意思?

spark当中的Stage具体是什么意思?

展开
收起
游客ahv54x37wvm7u 2021-12-12 21:01:24 680 0
1 条回答
写回答
取消 提交回答
  • 在 DAG 中又进行 stage 的划分,划分的依据是依赖是否是 shuffle 的,每个 stage 又可以划分成若干 task。接下来的事情就是 driver 发送 task 到 executor,executor 自己的线程池去执行这些 task,完成之后将结果返回给 driver。action 算子是划分不同 job 的依据。

    2021-12-12 21:01:34
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载