开发者社区 问答 正文

spark中如何防止数据不平衡导致内存溢出?

spark中如何防止数据不平衡导致内存溢出?

展开
收起
芯在这 2021-12-11 22:31:40 298 分享 版权
1 条回答
写回答
取消 提交回答
  • 数据不平衡除了有可能导致内存溢出外,也有可能导致性能的问题,解决方法和上面说的类似,就是调用repartition重新分区。这里就不再累赘了。

    2021-12-11 22:31:54
    赞同 展开评论