数据倾斜?几招把你安排的板板正正的!

简介: 数据倾斜?几招把你安排的板板正正的!

正文


1、数据倾斜表现


1.1 hadoop中的数据倾斜表现


有一个多几个Reduce卡住,卡在99.99%,一直不能结束。

各种container报错OOM

异常的Reducer读写的数据量极大,至少远远超过其它正常的Reducer

伴随着数据倾斜,会出现任务被kill等各种诡异的表现。


1.2 hive中数据倾斜


一般都发生在Sql中group by和join on上,而且和数据逻辑绑定比较深。


1.3 Spark中的数据倾斜


Spark中的数据倾斜,包括Spark Streaming和Spark Sql,表现主要有下面几种:


Executor lost,OOM,Shuffle过程出错;

Driver OOM;

单个Executor执行时间特别久,整体任务卡在某个阶段不能结束;

正常运行的任务突然失败;


2、数据倾斜产生原因


我们以Spark和Hive的使用场景为例。


在做数据运算的时候会涉及到,count distinct、group by、join on等操作,这些都会触发Shuffle动作。一旦触发Shuffle,所有相同key的值就会被拉到一个或几个Reducer节点上,容易发生单点计算问题,导致数据倾斜。


一般来说,数据倾斜原因有以下几方面:


1)key分布不均匀;


2)建表时考虑不周


举一个例子,就说数据默认值的设计吧,假设我们有两张表:


   user(用户信息表):userid,register_ip


   ip(IP表):ip,register_user_cnt


这可能是两个不同的人开发的数据表。如果我们的数据规范不太完善的话,会出现一种情况:


user表中的register_ip字段,如果获取不到这个信息,我们默认为null;


但是在ip表中,我们在统计这个值的时候,为了方便,我们把获取不到ip的用户,统一认为他们的ip为0。


两边其实都没有错的,但是一旦我们做关联了,这个任务会在做关联的阶段,也就是sql的on的阶段卡死。


3)业务数据激增


比如订单场景,我们在某一天在北京和上海两个城市多了强力的推广,结果可能是这两个城市的订单量增长了10000%,其余城市的数据量不变。


然后我们要统计不同城市的订单情况,这样,一做group操作,可能直接就数据倾斜了。


3、解决数据倾斜思路


很多数据倾斜的问题,都可以用和平台无关的方式解决,比如更好的数据预处理,异常值的过滤等。因此,解决数据倾斜的重点在于对数据设计和业务的理解,这两个搞清楚了,数据倾斜就解决了大部分了。


1)业务逻辑


我们从业务逻辑的层面上来优化数据倾斜,比如上面的两个城市做推广活动导致那两个城市数据量激增的例子,我们可以单独对这两个城市来做count,单独做时可用两次MR,第一次打散计算,第二次再最终聚合计算。完成后和其它城市做整合。


2)程序层面


比如说在Hive中,经常遇到count(distinct)操作,这样会导致最终只有一个Reduce任务。


我们可以先group by,再在外面包一层count,就可以了。比如计算按用户名去重后的总用户量:


(1)优化前


只有一个reduce,先去重再count负担比较大:


select name,count(distinct name)from user;


(2)优化后


// 设置该任务的每个job的reducer个数为3个。Hive默认-1,自动推断。


set mapred.reduce.tasks=3;


// 启动两个job,一个负责子查询(可以有多个reduce),另一个负责count(1):


select count(1) from (select name from user group by name) tmp;


3)调参方面


Hadoop和Spark都自带了很多的参数和机制来调节数据倾斜,合理利用它们就能解决大部分问题。


4)从业务和数据上解决数据倾斜


很多数据倾斜都是在数据的使用上造成的。我们举几个场景,并分别给出它们的解决方案。


一个原则:尽早过滤每个阶段的数据量。


数据有损的方法:找到异常数据,比如ip为0的数据,过滤掉。


数据无损的方法:对分布不均匀的数据,单独计算。


hash法:先对key做一层hash,先将数据随机打散让它的并行度变大,再汇聚。


数据预处理:就是先做一层数据质量处理,类似于数据仓库维度建模时,底层先处理数据质量。


相关文章
|
存储 算法 网络性能优化
风光场景削减及源荷不确定性的虚拟电厂随机优化调度研究(Matlab代码实现)
风光场景削减及源荷不确定性的虚拟电厂随机优化调度研究(Matlab代码实现)
205 0
|
数据采集 定位技术
巧用千寻位置GNSS软件| 一文教会横断面测量
选择目标线路,点击【确定】,如图 5.8-4所示,设置是否自动选择断面、计算方式、 放样间隔和横断面法线长度(道路中线到横断面边点的距离)。点击【确定】进入放样界 面,如图 5.8-5所示。当线路垂距小于 3米时,在横断面两侧生成平行线,进入精准定位。 根据箭头方向提示和下状态栏中垂距和平距提示移动当前点,当当前点位于横断面上时,根 据工程要求进行横断面数据采集和放样。也可以通过上下键切换到相邻的横断面。
巧用千寻位置GNSS软件| 一文教会横断面测量
|
定位技术
巧用千寻位置GNSS软件| 数据链工作状态轻松看
在日常施工中,千寻位置GNSS软件中的「工作状态」功能,可以帮助测绘工作人员查看当前接收机所选择的数据链的作业信息和状态。本期将为各位测友们详细介绍不同工作模式的「工作状态」所呈现的信息。
巧用千寻位置GNSS软件| 数据链工作状态轻松看
|
机器人
拧瓶盖螺丝,高度灵活的柔性机器人为你开可口可乐
拧瓶盖螺丝,高度灵活的柔性机器人为你开可口可乐
|
传感器 存储 数据安全/隐私保护
基于PLC十字路口交通灯控制(可计算车流量、调整时间等)课程设计毕业设计
基于PLC十字路口交通灯控制(可计算车流量、调整时间等)课程设计毕业设计
434 0
基于PLC十字路口交通灯控制(可计算车流量、调整时间等)课程设计毕业设计
|
存储 运维 监控
十条运维经验,帮你远离故障
1. 确保变更可以回滚 佛说:“每次创伤都是一次成熟”。这是运维人员的真实写照。从某种意义上讲,运维是一份不断犯错、不断积累经验的工作。以前没有经历的东西,总是不定期的给你痛击。所以请保护好变更的现场,使得变更有回头的机会。
1119 0
火箭发射:点击率预估界的“神算子”是如何炼成的?
响应时间直接决定在线响应系统的效果和用户体验。比如在线展示广告系统中,针对一个用户,需要在几ms内,对上百个候选广告的点击率进行预估。因此,如何在严苛的响应时间内,提高模型的在线预测效果,是工业界面临的一个巨大问题。
977 0
下一篇
无影云桌面