开发者社区> 问答> 正文

为什么Spark架构中的SparkContext要创建一个子任务TaskSchedule呢?

已解决

为什么Spark架构中的SparkContext要创建一个子任务TaskSchedule呢?

展开
收起
每天一个小bug 2022-08-03 08:51:01 370 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    因为一个DAG会包括很多个Task,而SparkContext会生成TaskScheduler,通过TaskSchedule来将任 务交给结点具体的Excutor来完成。

    2022-08-03 13:03:55
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
MaxCompute架构升级及开放性解读 立即下载
MaxCompute Serverless 架构演进 立即下载
阿里云消息队列的 Serverless架构演进 立即下载