E-MapReduce集群如何设置task节点中的nodemanger不参与集群中任务的计算只...
已解决E-MapReduce集群如何设置task节点中的nodemanger不参与集群中任务的计算只做spark任务的提交作业计算由core节点参与进行
展开
收起
1
条回答
写回答
写回答
-
开发者社区问答官方账号官方回答采纳回答1、nodemanager节点本身就会作为集群资源，参与任务计算。您可以在该节点上提交spark任务，但是无法指定单节点只做为spark的节点来使用。2、在task节点中将nodemanger组件下线，依然可以在task节点提交spark作业到yarn上，参考官方文档中关于YARN NodeManager Decommission这个章节。3、如上设置后，此时的E-MapReduce集群中的task节点就可以当作提交作业的机器作为客户端，不参与计算。其中driver启动在方式是与作业提交模式有关的，参考如下两种Yarn提交作业的方式。
Yarn-Client方式提交作业流程图
Yarn-Cluster方式提交作业流程图2024-06-14 11:06:22赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
