开发者社区> 问答> 正文

spark当中Job 和 Task 怎么理解?

spark当中Job 和 Task 怎么理解?

展开
收起
游客ahv54x37wvm7u 2021-12-12 21:05:38 717 0
1 条回答
写回答
取消 提交回答
  • Job Spark 的 Job 来源于用户执行 action 操作(这是 Spark 中实际意义的 Job),就是从 RDD 中获取结果的操作,而不是将一个 RDD 转换成另一个 RDD 的 transformation 操作。

    Task 一个 Stage 内,最终的 RDD 有多少个 partition,就会产生多少个 task。看一看图就明白了,可以数一数每个 Stage 有多少个 Task。

    2021-12-12 21:05:50
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载