您好,我在用EMR的时候一个key对应140W的value,用附件中的配置去跑,怎么调试都是内存溢出,能给我们这边建议的设置吗?SparkConf的设置 和 服务器应该使用什么样的配置?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

您好,我在用EMR的时候一个key对应140W的value,用附件中的配置去跑,怎么调试都是内存溢出,能给我们这边建议的设置吗?SparkConf的设置 和 服务器应该使用什么样的配置?

封神 2016-07-08 21:16:17 2115

您好,我在用EMR的时候一个key对应140W的value,用附件中的配置去跑,怎么调试都是内存溢出,能给我们这边建议的设置吗?SparkConf的设置 和 服务器应该使用什么样的配置?

rds附件 调用配置 配置附件 DING附件 val配置
分享到
取消 提交回答
全部回答(1)
  • 封神
    2019-07-17 19:53:53
    已采纳

    对于单key倾斜的场景,如果调大内存还是不能解决问题,目前处理的方式是直接单的大key过滤出来,单独处理。

    1 0
云计算
使用钉钉扫一扫加入圈子
+ 订阅

时时分享云计算技术内容,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。

最新问题