AI 助理
备案控制台
开发者社区 问答 正文

Spark如何在yarn上运行？

Spark如何在yarn上运行？

展开
收起
游客fq2cv4o24bhvc 2021-12-07 18:37:58 388 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客zxdz7pcxbx2uc

    1、客户端提交应用程序给resourcemanager

    2、resourcemanager为应用分配 spark application master

    3、spark application master 向 resourcemanager 申请资源 container，container可以用于运行executor

    4、resourcemanager 为 spark application master 分配 container

    5、node manager 启动 container

    2021-12-07 18:38:56
    赞同 展开评论
问答分类：
分布式计算 资源调度 Spark
问答标签：
apache spark yarn apache spark运行 Yarn运行 apache spark yarn运行 Yarn spark
问答地址：
开发者社区 > 大数据 > 问答
相关问答
EMR集群如何配置Yarn和Spark组建的日志定期清理策略
231
1
0
大数据计算MaxCompute Spark可以支持yarn client模式吗？
81
1
0
dataworks部分定时任务显示任务异常退出，但是上yarn上显示任务运行成功这个是什么原因呢？
95
1
0
请问FLINK-SQL作业sql文件怎样能 运行 yarn-application 模式?
164
1
0
flink cdc 为啥我从2.4升到3.1.1，在yarn上运行会有问题?
107
0
0
flink sql-client.sh yarn-per-job 运行完成后 不退出
217
0
0
flink on yarn打包运行，使用per job运行就没有问题，为什么？
89
1
0
使用flink cdc on yarn运行，先全量后增量的方式，这种情况咱们有什么好的建议吗？
76
1
0
咨询各位一个问题，我们之前的 Flink 任务是放在 Yarn 上的，运行就可以了吗？
76
0
0
flink on yarn 运行，taskmanager 没有logs 是什么原因？
115
1
0