开发者社区 问答 正文

MaxCompute Spark中Driver Memory相关参数是什么?

MaxCompute Spark中Driver Memory相关参数是什么?

展开
收起
芯在这 2021-12-12 22:57:39 786 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • Driver Memory

    相关参数1:spark.driver.memory

    设置申请Driver的堆内内存,与executor类似

    相关参数2:spark.driver.maxResultSize

    代表每个Spark的action(例如collect)的结果总大小的限制,默认为1g。如果总大小超过此限制,作业将被中止,如果该值较高可能会导致Driver发生OOM,因此用户需要根据作业实际情况设置适当值。

    相关参数3:spark.driver.memoryOverhead

    设置申请Driver的堆外内存,与executor类似

    Driver的内存通常不需要太大,如果Driver出现内存不足,通常是由于Driver收集了过多的数据,如果需要使用collect算子将RDD的数据全部拉取到Driver上进行处理,那么必须确保Driver的内存足够大。

    2021-12-12 22:58:14 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等