AI 助理
备案控制台
开发者社区 问答 正文

Spark-submit中的参数yarn-client和yarn-cluster分别表示什么？

Spark-submit中的参数yarn-client和yarn-cluster分别表示什么？

展开
收起
游客daliwbfb2wo66 2021-12-07 19:41:04 323 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客k7rjnht6hbtk6

    1.yarn-client表示的是以client模式连接到YARN cluster. 集群的位置基于HADOOP_CONF_DIR 变量找到.

    2.yarn-cluster表示的是以cluster模式连接到YARN cluster. 集群的位置基于HADOOP_CONF_DIR 变量找到.

    2021-12-07 19:41:39
    赞同 展开评论
问答标签：
apache spark yarn 参数Yarn apache spark参数 apache spark submit Yarn yarn-cluster
问答地址：
开发者社区 > 云计算 > 问答
相关问答
EMR集群如何配置Yarn和Spark组建的日志定期清理策略
227
1
0
大数据计算MaxCompute Spark可以支持yarn client模式吗？
80
1
0
dataworks中ODPS Spark 如何在代码中获取调度参数？
231
2
0
dataworks中ODPS Spark 如何获取调度参数 ？
158
2
0
Dataworks中spark 节点怎么使用流程参数？
243
3
0
在表格存储中官网的spark这样读取OTS能否设置连接OTS的超时参数？
89
1
0
Spark提供了哪些主要参数来调整计算存储资源的使用情况？
59
1
0
大数据计算MaxCompute的spark on mc，要在dw上配置的话，里面的参数都有哪些呢？
63
1
0
DataWorks上开发odps spark任务在submit阶段oom
82
1
0
DataWorks在spark jar中引用密文的空间参数怎么引用呢？
83
1
0