AI 助理
备案控制台
开发者社区 问答 正文

spark的部署模式有哪些？

spark的部署模式有哪些？

展开
收起
芯在这 2021-12-06 23:29:53 478 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 真的很搞笑

    本地模式

    Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。方便调试，本地模式分三类 local：只启动一个executor local[k]: 启动k个executor local：启动跟cpu数目相同的 executor

    standalone模式

    分布式部署集群，自带完整的服务，资源管理和任务监控是Spark自己监控，这个模式也是其他模式的基础

    Spark on yarn模式

    分布式部署集群，资源和任务监控交给yarn管理 粗粒度资源分配方式，包含cluster和client运行模式 cluster 适合生产，driver运行在集群子节点，具有容错功能 client 适合调试，dirver运行在客户端

    Spark On Mesos模式

    2021-12-06 23:33:48
    赞同 展开评论
问答分类：
分布式计算 Spark
问答标签：
apache spark模式 apache spark部署 apache spark部署模式
问答地址：
开发者社区 > 大数据 > 问答
相关问答
大数据计算MaxCompute Spark可以支持yarn client模式吗？
81
1
0
大数据计算MaxCompute Spark Local 模式启动报错，还需要开其他的配置么？
116
1
0
大数据计算MaxCompute在idea下的Local模式下运行Spark，报错怎么排查这个问题啊？
217
5
0
在client模式下，如果spark job的jar包过大，可能会导致什么问题？如何解决？
109
1
0
Spark的RDD和DataFrame编程模式如何帮助提升核算效率？
73
1
0
在ECS部署的airflow如何将spark作业提交到E-MapReduce集群上
79
1
0
请问bin/spark-sql --master yarn不能进行集群模式运行吗？
353
4
0
在edas里部署的镜像里面调用maxcompute的spark的sparksubmit的时候怎么解决
86
1
0
老哥 我们想在客户的内网部署我们的产品后，在maxcompute上提交spark离线任务，但是这个？
492
1
0
请问一下k8s上面部署的spark怎么进行压力测试呢，现有的hibench可以进行测试吗
737
1
0