AI 助理
备案控制台
开发者社区 问答 正文

Spark on Yarn架构是怎么样的？

Spark on Yarn架构是怎么样的？（要会画哦，这个图）

展开
收起
茶什i 2019-10-29 14:18:56 1816 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

2 条回答
写回答
取消 提交回答
  • 游客gqfovp2pbgogc

    image.png image.png

    2020-03-29 15:53:14
    赞同 展开评论
  • 珍宝珠

    Yarn提到的App Master可以理解为Spark中Standalone模式中的driver。Container中运行着Executor,在Executor中以多线程并行的方式运行Task。

    2019-10-30 15:19:36
    赞同 展开评论
问答分类：
分布式计算 资源调度 Spark
问答标签：
apache spark架构 spark架构 apache spark yarn Yarn架构 架构spark
问答地址：
开发者社区 > 大数据 > 问答
相关问答
EMR集群如何配置Yarn和Spark组建的日志定期清理策略
227
1
0
大数据计算MaxCompute Spark可以支持yarn client模式吗？
80
1
0
在ascp-finance-accounting架构中，spark session管理模块的主要职责
68
1
0
要在DataWorks上同时使用EMR Spark和Flink应用，应该怎么选择技术架构？
130
0
0
请问bin/spark-sql --master yarn不能进行集群模式运行吗？
347
4
0
帮忙看下大数据计算MaxCompute，通过spark on mc去注册吗？
96
3
0
容器服务ACK的混部还是yarn on k8s架构吗？
117
1
0
大数据计算MaxCompute spark 节点 no space left on devic?
190
2
0
企业级应用系统体系架构中的Hadoop，Strom和Spark之间有什么关系吗？
824
1
0
企业级应用系统体系架构中每个服务之间是直接交互的吗？
726
1
0