hadoop hive任务失败,原因是GC overhead limit exceeded (OOM)-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

hadoop hive任务失败,原因是GC overhead limit exceeded (OOM)

2016-04-14 13:49:15 10480 1

hadoop hive任务失败,原因是GC overhead limit exceeded (OOM)

取消 提交回答
全部回答(1)
  • 封神
    2019-07-17 18:42:34

    Hadoop任务可能引起OOM错误的原因有很多。一般情况下,首先检查是否重设了hadoop参数:mapred.child.java.opts,一般设为-Xmx2000m,即使用2G的最大堆内存。
    Hive中可能引起OOM的原因及相关的修复设定如下表所示:

    原因:map aggregation
    map aggregation使用哈希表存储group by/distinct key和他们的aggregation结果。
    aggregate结果字段过多,或group by/distinct key的散度过大,可能导致内存占用过多。
    修复:
    减小hive.map.aggr.hash.percentmemory设定(默认为0.5,即使用50%的child堆内存)。

    原因:join
    join需要cache所有相同join key的非驱动表的记录
    修复:
    检查是否把大表设定为驱动表(大表写在join的最右边)。
    如果已经设定正确的驱动表,减小hive.join.emit.interval设定(默认为1000,即每1000行的join结果集输出一次)。

    原因:map join
    map join需要cache全部小表的所有数据
    修复:
    检查小表是否足够小。如果小表超过1G,考虑不要使用map join。

    2 0
相关问答

40

回答

[@徐雷frank][¥20]什么是JAVA的平台无关性

大河人家 2018-10-29 23:55:20 144765浏览量 回答数 40

162

回答

惊喜翻倍:免费ECS+免费环境配置~!(ECS免费体验6个月活动3月31日结束)

豆妹 2014-10-29 17:52:21 226238浏览量 回答数 162

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 337099浏览量 回答数 8

13

回答

[@饭娱咖啡][¥20]我想知道 Java 关于引用那一块的知识

心意乱 2018-10-31 18:44:12 142483浏览量 回答数 13

38

回答

[@饭娱咖啡][¥20]对于慢sql有没有什么比较实用的诊断和处理方法?

江小白太白 2018-10-30 18:47:38 142134浏览量 回答数 38

111

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 295676浏览量 回答数 111

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 147282浏览量 回答数 22

18

回答

阿里云开放端口权限

xcxx 2016-07-20 15:03:33 646878浏览量 回答数 18

31

回答

[@倚贤][¥20]刚学完html/css/js的新手学习servlet、jsp需要注意哪些问题?

弗洛伊德6 2018-10-27 21:52:43 146074浏览量 回答数 31

42

回答

【精品问答集锦】Python热门问题

小六码奴 2019-05-30 15:27:34 137170浏览量 回答数 42
+关注
封神
封神 09年加入阿里巴巴,阿里云高级技术专家、架构师;专注在大数据、分布式数据库领域,10年分布式研发经验;参与研发万台大数据Hadoop离线计算平台;负责研发多款阿里云一级大数据及数据库产品,如云Cassandra
34
文章
259
问答
问答排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载