Hadoop知识点总结——数据倾斜解决方法

简介: 数据倾斜解决方法

1、提前在map端进行combine,减少传输的数据量

在Mapper加上combiner相当于提前进行reduce,即把一个Mapper中的相同key进行了聚合,减少shuffle过程中传输的数据量,以及Reducer端的计算量。

2、导致数据倾斜的key,大量分布在不同的mapper

2.1 局部聚合加全局聚合

第一次在map阶段对那些导致了数据倾斜的key 加上随机前缀,这样本来相同的key 也会被分到多个Reducer中进行局部聚合,数量就会大大降低。

第二次mapreduce,去掉key的随机前缀,进行全局聚合。

思想:二次mr,第一次将key随机散列到不同reducer进行处理达到负载均衡目的。第二次再根据去掉key的随机前缀,按原key进行reduce处理。

这个方法进行两次mapreduce,性能稍差。

2.2 增加Reducer,提升并行度

可以通过参数设置,提升Reduce的并行度:JobConf.setNumReduceTasks(int)

2.3 实现自定义分区

根据数据分布情况,自定义散列函数,将key均匀分配到不同Reducer。

相关文章
|
2月前
|
分布式计算 Hadoop 数据处理
Hadoop数据倾斜使用Combiner
【7月更文挑战第5天】
22 3
|
2月前
|
分布式计算 Hadoop
Hadoop数据倾斜重新定义键(Key)
【7月更文挑战第5天】
24 3
|
2月前
|
分布式计算 Hadoop Java
|
2月前
|
数据采集 分布式计算 资源调度
|
2月前
|
分布式计算 Hadoop 大数据
Hadoop数据倾斜
【7月更文挑战第14天】
25 2
|
2月前
|
分布式计算 Hadoop 测试技术
|
2月前
|
分布式计算 算法 Hadoop
Hadoop数据倾斜自定义分区器
【7月更文挑战第5天】
20 3
|
2月前
|
分布式计算 Hadoop 数据挖掘
|
2月前
|
分布式计算 Hadoop
Hadoop使用Combiner缓解数据倾斜
【7月更文挑战第6天】
36 1
|
2月前
|
数据采集 分布式计算 Hadoop

相关实验场景

更多