开发者社区> 问答> 正文

spark的工作机制具体是什么啊?

spark的工作机制具体是什么啊?

展开
收起
游客vwuxaq6iqaowc 2021-12-06 17:13:46 287 0
1 条回答
写回答
取消 提交回答
  • 用户在client端提交作业后,会由Driver运行main方法并创建spark context上下文。 执行add算子,形成dag图输入dagscheduler 按照add之间的依赖关系划分stage输入task scheduler task scheduler会将stage划分为taskset分发到各个节点的executor中执行

    2021-12-06 17:14:10
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载