开发者学堂课程【新电商大数据平台2020最新课程:电商项目之 DWD 用户产品浏览表 SQL 实现】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/640/detail/10527
电商项目之 DWD 用户产品浏览表 SQL 实现
目录:
一、用户启动日志表介绍
二、用户产品浏览表实现
三、编写以及运行用户流览表
一、用户启动日志表介绍
用户主题下的用户启动日志表,是按照数据划分的,因为用户的操作不同,产生的时间就不一样,包括它所使用的action 类型也不同。
二、用户产品浏览表实现
找到项目文档,找到产品流览表,在后面的操作中进行调度,可以直接查看运行方式和运行结果。
找的数据要符合浏览,用户行为日志里有交互行为,交互行为里面有浏览,也可以从页面介入里看,只有一个 target id 是纯浏览,所以在做的时候先去看大的方向,即行为的方向,再去看类型。此时应该找页面介入,交互的意思是后续的操作,并不需要它,只需要统计用户浏览即可。只需要看商品id就可以了
三、编写以及运行用户流览表
先看一下字段,再看产品 id,可以去查询表:
FAILED:SemanticException [Error 10001]: Line 1:14 Table not found 'ods nshop_01_useractlo'hive> select * from ods_nshop.ods_nshop_01_useractlog limit 10;
insert overwrite dwd_nshop.dwd_nshop_actlog_pdtview partition(bdp_day) select 1
编写如下:
insert overwrite dwd_nshop.dwd_nshop_actlog_pdtview partition(bdp_day)
select
customer_id,
device_num ,
device_type,
oS ,
os_version ,
manufacturer,
carrier,
network_type,
area_code,
get_json_object(extinfo,'$.target_id')as target_id,
duration,
ct,
bdp_day
from ods_nshop.ods_nshop_01_useractlog
where
bdp_day='20200321'
and
action in('07','08')
//开启本地模式
hive> set hive.exec.dynamic.partition=true;
hive> set hive.exec.dynamic.partition.mode=nonstrict;
hive> set hive.exec.mode.local.auto=true;
此时运行结果如下:
有数据即成功。