开发者社区> 问答> 正文

Spark中spark.yarn.executor.memoryOverhead参数是啥意思呢?

Spark中spark.yarn.executor.memoryOverhead参数是啥意思呢?

展开
收起
bnbajjyhyjfty 2021-12-12 15:42:16 780 0
1 条回答
写回答
取消 提交回答
  • 申请executor的堆外内存,默认单位是MB 。主要用于JVM自身,字符串NIOBuffer等开销

    单个executor的总内存是:sparkexecutormemory+sparkyarnexecutor memoryOverhead

    2021-12-12 15:42:54
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载