每天一道大厂SQL题【Day12】微众银行真题实战(二)

debt.txt文件

set spark.sql.shuffle.partitions=4;
create database webank_db;
use webank_db;
create or replace temporary view check_view (ds comment '日期分区',
sno comment '流水号', uid comment '用户id',
is_risk_apply comment '是否核额申请',
is_pass_rule comment '是否通过规则',
is_obtain_qutoa comment '是否授信成功', quota comment '授信金额',
update_time comment '更新时间')
as
values ('20201101', 's000', 'u000', 1, 1, 1, 700, '2020-11-01 08:12:12'),
('20201102',  's088', 'u088', 1,  1,  1,  888, '2020-11-02 08:12:12'),
('20201230',  's091', 'u091', 1,  1,  1,  789, '2020-12-30 08:12:12'),
('20201230',  's092', 'u092', 1,  0,  0,  0, '2020-12-30 08:12:12'),
('20201230',  's093', 'u093', 1,  1,  1,  700, '2020-12-30 08:12:12'),
('20201231',  's094', 'u094', 1,  1,  1,  789, '2020-12-31 08:12:12'),
('20201231',  's095', 'u095', 1,  1,  1,  600, '2020-12-31 08:12:12'),
('20201231',  's096', 'u096', 1,  1,  0,  0, '2020-12-31 08:12:12')
;
--创建核额流水表 
drop table if exists check_t;
create table check_t (
sno string comment '流水号', 
    uid string,
is_risk_apply bigint, 
    is_pass_rule bigint, 
    is_obtain_qutoa bigint, 
    quota decimal(30,6), update_time string
) partitioned by (ds string comment '日期分区');
--动态分区需要设置 
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict; 
insert overwrite table check_t partition (ds) select sno,
uid, is_risk_apply, is_pass_rule, is_obtain_qutoa, quota, 
update_time,
ds
from check_view;

-- 创 建 借 据 表
create table debt(
duebill_id  string comment '借据号',
uid string, prod_type   string, 
putout_date string, 
putout_amt    decimal(30, 6),
balance decimal(30, 6), 
is_buliang    int, 
overduedays int
)partitioned by (ds string comment '日期分区');
--资料提供了一个34899条借据数据的文件 
--下面补充如何将文件的数据导入到分区表中。需要一个中间普通表过度。
drop table if exists webank_db.debt_temp;
create table webank_db.debt_temp(
duebill_id    string comment '借据号', uid string,
prod_type string,
putout_date string, putout_amt  decimal(30, 6),
balance decimal(30,6),
is_buliang  int, overduedays int,
ds string comment '日期分区'
) row format delimited fields terminated by '\t';
load data local inpath '/root/debt.txt' overwrite into table webank_db.debt_temp;
--动态分区需要设置 
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table webank_db.debt partition (ds)
select * from webank_db.debt_temp;
--技巧：如果查询debt表，由于分区数太多，导致查询很慢。 
-- 开发阶段，我们可以事先将表缓存起来，并且降低分区数比如为6，那么查缓存表大大提升了开发效率。 
-- 上线阶段，再用实际表替换缓存表。 
--首次缓存会耗时慢 
cache table cache_debt as select /+ coalesce(6) /  from
debt;
--第二次使用缓存会很快 
select count(*) from cache_debt;
select ds,count(1) from cache_debt group by ds;

--第二问 假设是今天(2021-10-29)的统计，并考虑对用户去重select * from debt where ds='2021-10-29' ;
drop table if exists prod_type_agg;
create table prod_type_agg(
prod_type   string comment '产品', 
cnt int,
sum_balance decimal(30, 6),
bad_balance decimal(30, 6),
bad_balance_rate decimal(7, 6), 
bad_cnt int, 
bad_cnt_rate  decimal(7, 6)
) partitioned by (ds string comment '结果分区');