[Hive]Lateral View使用指南

简介: 1. 语法lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*fromClause: FROM baseTable (lateralView)*2. 描述Lateral View一般与用户自定义表生成函数(如explode())结合使用。

1. 语法

lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*
fromClause: FROM baseTable (lateralView)*

2. 描述

Lateral View一般与用户自定义表生成函数(如explode())结合使用。 如内置表生成函数中所述,UDTF为每个输入行生成零个或多个输出行。 Lateral View 首先将UDTF应用于基表的每一行,然后将结果输出行连接到输入行,以形成具有提供的表别名的虚拟表。

在Hive 0.6.0之前,Lateral View 不支持谓词下推优化。 
在Hive 0.5.0和更早版本中,如果你使用WHERE子句,你的查询如果没有没有编译。
解决方法是在你查询之前添加 set hive.optimize.ppd = false 。 
这个问题是在Hive 0.6.0中进行修复的, 请参阅https://issues.apache.org/jira/browse/HIVE-1056。
从Hive 0.12.0中,可以省略列别名。
在这种情况下,别名继承自从UTDF返回的StructObjectInspector的字段名称。

3. Example

考虑以下名为pageAds的基表。 它有两列:pageid(网页名称)和adid_list(网页上显示的广告数组):

名称 类型
pageid STRING
adid_list Array<int>

具有两行数据的示例表:

pageid adid_list
contact_page [3, 4, 5]
front_page [1, 2, 3]

而且用户希望统计广告在所有网页上展示的总次数。

Lateral View 与 explode()函数 结合使用可以将adid_list转换为单独的行:

hive> SELECT pageid, adid
    > FROM tmp_laterview LATERAL VIEW explode(adid_list) adTable AS adid;
OK
front_page	1
front_page	2
front_page	3
contact_page	3
contact_page	4
contact_page	5
Time taken: 0.132 seconds, Fetched: 6 row(s)

然后,为了计算特定广告的展示次数,使用如下命令:

hive> SELECT adid, count(1)
    > FROM tmp_laterview LATERAL VIEW explode(adid_list) adTable AS adid
    > GROUP BY adid;

OK
1	1
2	1
3	2
4	1
5	1
Time taken: 11.456 seconds, Fetched: 5 row(s)

4. Multiple Lateral Views

FROM子句可以有多个LATERAL VIEW子句。 后面的LATERAL VIEWS子句可以引用出现在LATERAL VIEWS左侧表的任何列。

例如,如下查询:

SELECT * FROM exampleTable
LATERAL VIEW explode(col1) myTable1 AS myCol1
LATERAL VIEW explode(col2) myTable2 AS myCol2;

LATERAL VIEW子句按照它们出现的顺序应用。 例如使用以下基表:

Array<int> pageid_list Array<string> adid_list
[1, 2, 3] ["a", "b", "c"]
[3, 4] ["c", "d"]

单个Lateral View查询

hive> SELECT pageid_list, adid 
    > FROM tmp_laterview
    > LATERAL VIEW explode(adid_list) adTable AS adid;
OK
[1,2,3]	a
[1,2,3]	b
[1,2,3]	c
[4,5]	c
[4,5]	d

多个Lateral View查询:

hive> SELECT pageid, adid 
    > FROM tmp_laterview
    > LATERAL VIEW explode(adid_list) adTable AS adid
    > LATERAL VIEW explode(pageid_list) adTable AS pageid;
OK
1	a
2	a
3	a
1	b
2	b
3	b
1	c
2	c
3	c
4	c
5	c
4	d
5	d

5. Outer Lateral Views

在Hive0.12.0版本后引入

用户可以指定可选的OUTER关键字来生成行,即使LATERAL VIEW通常不会生成行。当所使用的UDTF不产生任何行时(使用explode()函数时,explode的列为空时,很容易发生上述这种情况)。 在这种情况下,源数据行不会出现在结果中。如果想让源数据行继续出现在结果中,可以使用 OUTER可以用来阻止关键字,并且来自UDTF的列使用NULL值代替。

例如,以下查询返回空结果:

hive> SELECT * FROM tmp_laterview LATERAL VIEW explode(array()) C AS a;
OK
Time taken: 0.077 seconds

但是使用OUTER关键词:

hive> SELECT * FROM tmp_laterview LATERAL VIEW OUTER explode(array()) C AS a;
OK
[1,2,3]	["a","b","c"]	NULL
[4,5]	["c","d"]	NULL
Time taken: 0.053 seconds, Fetched: 2 row(s)

原文:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView

目录
相关文章
|
4天前
|
SQL HIVE
hive中的 lateral view
hive中的 lateral view
44 0
|
SQL 监控 HIVE
网站流量日志分析--扩展--hive lateral view 侧视图的使用|学习笔记
快速学习网站流量日志分析--扩展--hive lateral view 侧视图的使用
179 0
网站流量日志分析--扩展--hive lateral view 侧视图的使用|学习笔记
|
存储 SQL 大数据
hive使用指南
创建库:create database base_name; 创建内/外部表: CREATE EXTERNAL TABLE t_lxw1234 ( id INT, ip STRING COMMENT ‘访问者IP’, avg_view_depth DECIMAL(5,1), ...
1834 0
|
存储 SQL 机器学习/深度学习
[Hive]Hive使用指南七 空值与NULL
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/78276551 1.
3323 0
|
SQL JSON Java
[Hive]JsonSerde使用指南
注意: 重要的是每行必须是一个完整的JSON,一个JSON不能跨越多行,也就是说,serde不会对多行的Json有效。 因为这是由Hadoop处理文件的工作方式决定,文件必须是可拆分的,例如,Hadoop将在行尾分割文本文件。
2601 0
|
SQL HIVE iOS开发
[Hive]Union使用指南
1. union语法 select_statement UNION [ALL | DISTINCT] select_statement UNION [ALL | DISTINCT] select_statement ... UNION将多个SELECT语句的结果集合并为一个独立的结果集。
2155 0
|
SQL Unix HIVE
[Hive]Hive使用指南六 日期相关函数
下面介绍一下常用的Hive日期处理相关函数。 1. to_date 日期时间转日期函数 语法: to_date(string timestamp) 返回值: string 说明: 返回日期时间字段中的日期部分。
1412 0
|
SQL HIVE
[Hive]Hive使用指南四 客户端导入数据
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/52935649 根据导...
936 0
|
SQL HIVE Perl
[Hive]Hive使用指南五 客户端导出数据
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/52924452 根据导...
781 0

热门文章

最新文章