AI 助理
备案控制台
开发者社区 问答 正文

Spark中spark.yarn.executor.memoryOverhead参数是啥意思呢?

Spark中spark.yarn.executor.memoryOverhead参数是啥意思呢?

展开
收起
bnbajjyhyjfty 2021-12-12 15:42:16 813 分享
分享
 版权
举报

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客5q6u2bzdfcir4

    申请executor的堆外内存，默认单位是MB 。主要用于JVM自身，字符串NIOBuffer等开销

    单个executor的总内存是:sparkexecutormemory+sparkyarnexecutor memoryOverhead

    2021-12-12 15:42:54 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答分类：
分布式计算 Spark
问答标签：
apache spark yarn apache spark参数 Yarn参数 apache spark yarn参数
问答地址：
开发者社区 > 大数据 > 问答
相关问答
EMR集群如何配置Yarn和Spark组建的日志定期清理策略
131
1
0
大数据计算MaxCompute Spark可以支持yarn client模式吗？
52
1
0
dataworks中ODPS Spark 如何在代码中获取调度参数？
174
2
0
dataworks中ODPS Spark 如何获取调度参数 ？
117
2
0
Flink CDC任务能正常提交到yarn 这个0.0.0.0:8030能用什么参数修正呀？
43
1
0
Dataworks中spark 节点怎么使用流程参数？
190
3
0
在表格存储中官网的spark这样读取OTS能否设置连接OTS的超时参数？
56
1
0
Spark提供了哪些主要参数来调整计算存储资源的使用情况？
34
1
0
大数据计算MaxCompute的spark on mc，要在dw上配置的话，里面的参数都有哪些呢？
33
1
0
Flink现在yarn-session 启动 -s 参数还有用么？
272
9
0