【拾贝】hive unoin all map数爆增

简介:

遇到个hive 语句 用unoin all暴增的情况,

特征:

1. 两条语句查询的数据实际都是0

2. unoin all 上下 有同样的表

 

查看打印信息做了mapjoin ,估计是mapjoin的一个bug, 尝试加上条件

set hive.auto.convert.join.noconditionaltask = false;

set hive.optimize.mapjoin.mapreduce=false; --这条貌似可以不加

恢复正常。










本文转自 wws5201985 51CTO博客,原文链接:http://blog.51cto.com/yjplxq/1358934,如需转载请自行联系原作者
目录
相关文章
|
7月前
|
SQL 存储 Java
Hive 特殊的数据类型 Array、Map、Struct
在Hive中,`Array`、`Map`和`Struct`是三种特殊的数据类型。`Array`用于存储相同类型的列表,如`select array(1, "1", 2, 3, 4, 5)`会产生一个整数数组。`Map`是键值对集合,键值类型需一致,如`select map(1, 2, 3, "4")`会产生一个整数到整数的映射。`Struct`表示结构体,有固定数量和类型的字段,如`select struct(1, 2, 3, 4)`创建一个无名结构体。这些类型支持嵌套使用,允许更复杂的结构数据存储。例如,可以创建一个包含用户结构体的数组来存储多用户信息
559 0
|
存储 SQL HIVE
数据仓库的Hive的数据类型的复杂数据类型的map
在数据仓库领域,Hive是一个常用的工具。它提供了一种简单的方式来查询和分析大量数据。
173 0
|
SQL 分布式计算 算法
|
SQL HIVE
关于Hive中的复杂数据类型Array,Map,Structs的一些使用案例
写在前边的话:         同样是在做豆瓣电影数据分析的小课题的时候遇到的一个问题:hive表中的电影类型存储格式为array,那么我如何针对每一个类型做统计呢?         本来是想在基于豆瓣电影数据进行相关的数据分析项目      中进行相关解释说明的,仔细想了下,刚好拿...
2563 0