开发者社区> 问答> 正文

Spark 在yarn上的工作原理是怎样的?

Spark 在yarn上的工作原理是怎样的?

展开
收起
游客ysk6odvtzspxs 2021-12-05 21:11:34 1012 0
1 条回答
写回答
取消 提交回答
  • 客户端要提交一个yarn的作业,首先要通过Resource manager去分配一个container给node mananger,用来跑application master,然后application master到resource manager申请所需要的资源,ApplicationMaster通知NodeManager在获得的Container中启动excutor进程,在container里面启动executor,executor返回相应的运行状态。如果是map-reduce,task换成map task和reduce task,若果是spark换成spark作业就好,所以很多作业都能跑到yarn上面的

    2021-12-05 21:12:10
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载

相关实验场景

更多