开发者社区> 问答> 正文

Hadoop 解决数据倾斜方法是什么?

Hadoop 解决数据倾斜方法是什么?

展开
收起
芯在这 2021-12-05 18:00:01 238 0
1 条回答
写回答
取消 提交回答
  • 1.提前在 map 进行 combine,减少传输的数据量 在 Mapper 加上 combiner 相当于提前进reduce,即把一个 Mapper 中的相同 key 进行了聚合,减少 shuffle 过程中传输的数据量,以及 Reducer 端的计算量。 如果导致数据倾斜的key 大量分布在不同的mapper的时候,这种方法就不是很有效了。

    2.导致数据倾斜的 key 大量分布在不同的 mapper

    (1)局部聚合加全局聚合。 第一次在 map 阶段对那些导致了数据倾斜的 key 加上 1 到 n 的随机前缀,这样本来相同的 key 也会被分到多个 Reducer 中进行局部聚合,数量就会大大降低。 第二次 mapreduce,去掉 key 的随机前缀,进行全局聚合。 思想:二次 mr,第一次将 key 随机散列到不同 reducer 进行处理达到负载均衡目的。第二次再根据去掉 key 的随机前缀,按原 key 进行 reduce 处理。 这个方法进行两次 mapreduce,性能稍差。

    (2)增加 Reducer,提升并行度 JobConf.setNumReduceTasks(int)

    (3)实现自定义分区 根据数据分布情况,自定义散列函数,将 key 均匀分配到不同 Reducer

    2021-12-05 19:04:06
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多