电商项目之 DWD 用户启动日志表 SQL 实现(下)|学习笔记

简介: 快速学习电商项目之 DWD 用户启动日志表 SQL 实现(下)

开发者学堂课程【新电商大数据平台2020最新课程电商项目之 DWD 用户启动日志表 SQL 实现(下)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/640/detail/10524


电商项目之 DWD 用户启动日志表 SQL 实现(下)

 

时间段可以分为四个字段,早上,上午,下午 ,晚上,通过这四个字段来判断时间,用户行为日志表里面有一个时间是ct,取时间戳,时间戳保留到毫秒,转换下在经过计算操作,先把时间转换下。

image.png

先取 ct,放两个值,这职业是要做的时间戳,小时是 HH,这么解析一定报错,需要转换一下。

用 cast 单独去计算找到时间,转换成一个 int 类型,默认是 string 类型。

Jet hive. exec. dynamic. partition-true;

set hive. exec. dynamic. partition, mode=nonstrict;

insert. overwrite table _nshop. dwd_nshop_actlog_launch partition( bdp_day="20200321")

select

customer id,

device_num,

device_type,

os,

os_version,

manufacturer,

carrier,

network_type,

area code,

from_unixtime(cast(ct/1000 as int), 'yyyMMdd’),

ct,

bdp_day

from ods_nshop. ods_nshop_01_useractlog

where

bdp_day=20200321

and

action='02'

试一下是06,当然取的时候也可以取时分秒,去 yyyMMdd,20190908,这是一个时间。

时间段没必要过于纠结,时间段加一个判断,当他是某个值的时候,可以重新处理。这个时间段后面再加,用SQL进行操作表的时候,或处理的时候,比较有意义。

现在的数据需要跑任务,把数据插入到 dwd 用户行为日志表当中,加入需要写 insert 或者 into,动态传入一下,这里面还需要一个字段,还需要一个生产时间,直接获取 ct。

如果用动态穿插的方式,字段就不匹配了,里面多了一个字段,需要把最后一个字段充当分析字段。上面有 bdp 的字段,配置相应的参数,开启动态穿插。

现在是没有开启的,先开启动态穿插,复制一下,可以设置分区字段的数量。

运营一下,把两个机制开启,创建一个 user,需要配置一个文件夹,然后看是否有,再跑一下。有3个 job,本地模式比较好,比较慢。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
SQL 数据库管理
第二章:基础查询与排序---SQL学习笔记
第二章:基础查询与排序---SQL学习笔记
55 0
|
25天前
|
SQL JSON Kubernetes
Seata常见问题之服务端 error日志没有输出,客户端执行sql报错如何解决
Seata 是一个开源的分布式事务解决方案,旨在提供高效且简单的事务协调机制,以解决微服务架构下跨服务调用(分布式场景)的一致性问题。以下是Seata常见问题的一个合集
97 0
|
1月前
|
SQL 资源调度 Oracle
Flink CDC产品常见问题之sql运行中查看日志任务失败如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
2月前
|
SQL 数据采集 JSON
弱结构化日志 Flink SQL 怎么写?SLS SPL 来帮忙
弱结构化日志 Flink SQL 怎么写?SLS SPL 来帮忙
125157 136
|
2月前
|
关系型数据库 MySQL 数据库
MySQL员工打卡日志表——数据库练习
MySQL员工打卡日志表——数据库练习
136 0
|
3月前
|
SQL 关系型数据库 MySQL
MySQL SQL性能分析 慢查询日志、explain使用
MySQL SQL性能分析 慢查询日志、explain使用
89 0
|
3月前
|
SQL OLAP Serverless
第五章:SQL高级处理---SQL学习笔记
第五章:SQL高级处理---SQL学习笔记
40 0
|
3月前
|
SQL 关系型数据库 MySQL
第四章:集合运算---SQL学习笔记
第四章:集合运算---SQL学习笔记
59 0
|
3月前
|
SQL 关系型数据库 数据库
第三章:复杂一点的查询--SQL学习笔记
第三章:复杂一点的查询--SQL学习笔记
68 0
|
7天前
|
SQL 人工智能 算法
【SQL server】玩转SQL server数据库:第二章 关系数据库
【SQL server】玩转SQL server数据库:第二章 关系数据库
47 10