hadoop hive任务失败，原因是GC overhead limit exceeded (OOM)

Hadoop任务可能引起OOM错误的原因有很多。一般情况下，首先检查是否重设了hadoop参数：mapred.child.java.opts，一般设为-Xmx2000m，即使用2G的最大堆内存。
Hive中可能引起OOM的原因及相关的修复设定如下表所示：

原因：map aggregation
map aggregation使用哈希表存储group by/distinct key和他们的aggregation结果。
aggregate结果字段过多，或group by/distinct key的散度过大，可能导致内存占用过多。
修复：
减小hive.map.aggr.hash.percentmemory设定（默认为0.5，即使用50%的child堆内存）。

原因：join
join需要cache所有相同join key的非驱动表的记录
修复：
检查是否把大表设定为驱动表（大表写在join的最右边）。
如果已经设定正确的驱动表，减小hive.join.emit.interval设定（默认为1000，即每1000行的join结果集输出一次）。

原因：map join
map join需要cache全部小表的所有数据
修复：
检查小表是否足够小。如果小表超过1G，考虑不要使用map join。