开发者社区> 问答> 正文

Spark中两种结果,中间结果与最终结果是什么?

Spark中两种结果,中间结果与最终结果是什么?

展开
收起
芯在这 2021-12-10 22:39:54 346 0
1 条回答
写回答
取消 提交回答
  • 两种结果,中间结果与最终结果:

    对于FinalStage所对应的任务,返回给DAGScheduler的是运算结果本身,而对于中间调度阶段对应的任务ShuffleMapTask,返回给DAGScheduler的是一个MapStatus里的相关存储信息,而非结果本身,这些存储位置信息将作为下一个调度阶段的任务获取输入数据的依据。

    2021-12-10 22:40:14
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Spark优化实践 立即下载
Spark介绍及Spark多数据源分析 立即下载
# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】 立即下载