【Hive】笔试题 01(自连接与窗口函数分别实现)

简介: 【Hive】笔试题 01(自连接与窗口函数分别实现)


现有这么一批数据,现要求出:  
每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数  
三个字段的意思:  
用户名,月份,访问次数  
A,2015-01,5  
A,2015-01,15  
B,2015-01,5  
A,2015-01,8  
B,2015-01,25  
A,2015-01,5  
A,2015-02,4  
A,2015-02,6  
B,2015-02,10  
B,2015-02,5  
A,2015-03,16  
A,2015-03,22  
B,2015-03,23  
B,2015-03,10  
B,2015-03,11  
最后结果展示:  
用户  月份      最大访问次数  总访问次数       当月访问次数  
A   2015-01     33          33        33  
A   2015-02     33          43        10  
A   2015-03     38          81        38  
B   2015-01     30          30        30  
B   2015-02     30          45        15  
B   2015-03     44          89        44
准备数据:
data1.txt
A,2015-01,5
A,2015-01,15
B,2015-01,5
A,2015-01,8
B,2015-01,25
A,2015-01,5
A,2015-02,4
A,2015-02,6
B,2015-02,10
B,2015-02,5
A,2015-03,16
A,2015-03,22
B,2015-03,23
B,2015-03,10
B,2015-03,11
建表:
create database if not exists mydemo;
use mydemo;
drop table if exists infos;
create table if not exists infos(name string, date string, ftime int) 
row format delimited fields terminated by ",";
load data local inpath "/opt/soft/data1.txt" into table infos;
select * from infos;

image.png


第二步:
为了统计出以下这样的数据:
用户  月份      最大访问次数  总访问次数       当月访问次数  
A   2015-01     33          33        33  
A   2015-02     33          43        10  
A   2015-03     38          81        38  
B   2015-01     30          30        30  
B   2015-02     30          45        15  
B   2015-03     44          89        44  
第三步:
第一次遇到这样的查询难免有些手忙脚乱,我们可以将这道题拆分为三张表,进行分析 🤳
先开始第一张简单的表,一起来看看吧 😁
编写SQL :
create table infos_step1 as select name,date,sum(ftime) as visit from infos group by name,date;
select * from infos_step1;


image.png


第四步
create table infos_step2 as 
select 
a.name as namea,
a.date as datea,
a.visit as visita,
b.name as nameb,
b.date as dateb,
b.visit as visitb
from infos_step1 a join infos_step1 b
on a.name = b.name;


create table infos_step3 as 
select nameb, dateb, visitb, 
max(visita) as max_visit, 
sum(visita) as sum_visit
from infos_step2 
where datea <= dateb 
group by nameb, dateb, visitb;


select * from infos_step3


另外几种写法:

select
name,
date,
sum(ftime) as month_count,
max(sum(ftime)) over (partition by name order by date) as max_month,
sum(sum(ftime)) over (partition by name order by date) as total
from infos
group by name, date
order by name, date;


+-------+----------+--------------+------------+--------+--+
| name  |   date   | month_count  | max_month  | total  |
+-------+----------+--------------+------------+--------+--+
| A     | 2015-01  | 33           | 33         | 33     |
| A     | 2015-02  | 10           | 33         | 43     |
| A     | 2015-03  | 38           | 38         | 81     |
| B     | 2015-01  | 30           | 30         | 30     |
| B     | 2015-02  | 15           | 30         | 45     |
| B     | 2015-03  | 44           | 44         | 89     |
+-------+----------+--------------+------------+--------+--+


目录
相关文章
|
6月前
|
SQL HIVE
hive窗口函数应用实例
hive窗口函数应用实例
167 3
|
6月前
|
SQL HIVE
Hive 【Hive(七)窗口函数练习】
Hive 【Hive(七)窗口函数练习】
|
6月前
|
SQL 分布式计算 Serverless
Hive【Hive(六)窗口函数】
Hive【Hive(六)窗口函数】
|
SQL 大数据 开发工具
大数据Hive窗口函数应用实例 2
大数据Hive窗口函数应用实例
153 0
|
SQL 大数据 开发工具
大数据Hive窗口函数应用实例 1
大数据Hive窗口函数应用实例
91 0
|
2月前
|
SQL 分布式计算 JavaScript
Hive的JOIN连接
Hive的JOIN连接
54 5
|
2月前
|
SQL JavaScript 前端开发
Hive学习-lateral view 、explode、reflect和窗口函数
Hive学习-lateral view 、explode、reflect和窗口函数
41 4
|
4月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用问题之如何使用Flink SQL连接带有Kerberos认证的Hive
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
SQL DataWorks 网络安全
DataWorks操作报错合集之DataWorks连接Hive数据库时出现连接超时的问题如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
101 2
|
6月前
|
SQL HIVE 索引
Hive窗口函数案例总结
Hive窗口函数案例总结
下一篇
无影云桌面