AI 助理
备案控制台
开发者社区 问答 正文

E-MapReduce Worker节点和Header/Gateway节点提交作业的区别

已解决

E-MapReduce Worker节点和Header/Gateway节点提交作业的区别

展开
收起
阿里云服务支持 2022-12-07 13:13:27 158 分享 版权
来自： 阿里云支持与服务

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 阿里云服务支持
    官方回答

    在数据开发的作业编辑页面，单击右上角的作业设置，在作业设置页面的高级设置页签，可以在模式区域，选择在Worker节点提交或者在Header/Gateway节点提交。

    ● 在E-MapReduce Worker节点提交：不可以指定机器提交，会先启动一个名为Launcher的任务，再来启动和监控实际的任务，即需要用到两个ApplicationMaster的资源，通常这两个任务的ApplicationId是连续的。

    ● 在Header/Gateway节点提交：可以指定机器提交，仅启动实际的任务，但是如果任务太多，会对Header/Gateway节点造成一定的压力，如果机器内存不足，任务无法启动。

    2022-12-07 16:09:50
    赞同 展开评论
问答标签：
mapreduce区别 mapreduce worker Gateway节点 e-mapreduce Gateway mapreduce节点
问答地址：
开发者社区 > 阿里云支持与服务 > 问答
相关问答
旧版ECM架构的Hadoop集群绑定的Gateway集群节点组在EMR管控无法升配
91
1
0
MaxCompute提交mapreduce作业处理oss上的数据报错Exception in ...
113
1
0
E-MapReduce SparkSQL如何开发一个流式处理作业
50
1
0
E-MapReduce集群弹性扩容后其gateway集群提交大数据作业失败
70
0
0
阿里云E-MapReduce中jindo对接S3的时候worker超过2个的都起不来这是有限制吗？
123
0
0
E-MapReduce Knox服务重启报错Gateway SSL Certificate i...
105
1
0
E-MapReduce创建后为什么Master节点可以使用设置的密码登录而Worker节点无法登录
50
1
0
E-MapReduce数据开发执行作业报错“Error: Could not find or ...
60
1
0
在ECS部署的airflow如何将spark作业提交到E-MapReduce集群上
78
1
0
E-MapReduce使用spark-submit提交spark作业偶尔报错日志中的关键信息为...
67
1
0