开发者社区> 问答> 正文

MapReduce 优化方法数据倾斜问题是什么?

MapReduce 优化方法数据倾斜问题是什么?

展开
收起
真的很搞笑 2021-12-05 01:08:02 318 0
1 条回答
写回答
取消 提交回答
  • (1)数据倾斜现象 数据频率倾斜——某一个区域的数据量要远远大于其他区域。 数据大小倾斜——部分记录的大小远远大于平均值。 (2)如何收集倾斜数据 在 reduce 方法中加入记录 map 输出键的详细情况的功能。

    2021-12-05 01:08:52
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
HBase 吞吐量提升实践 立即下载
MaxCompute SQL计算成本调优以及优化方法 立即下载
使用Apache Beam和HBase进行高效数据处理 立即下载