电商项目之 DWD 用户启动日志表 SQL 实现(上)|学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习电商项目之 DWD 用户启动日志表 SQL 实现(上)

开发者学堂课程【新电商大数据平台2020最新课程电商项目之 DWD 用户启动日志表 SQL 实现(上)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/640/detail/10523


电商项目之 DWD 用户启动日志表 SQL 实现(上)

 

根据模型创建表,上节课说了事务的明细表,周期快照表等,怎么去实现明细层,也就是说主题率的创建

根据数据,在本次项目中,创建主题率都是根据数据划分,比如说 DWD 层,用户主题,考虑所去创作的用户主题表,分为四种:

用户启动日志表,用户产品浏览表,用户产品查询表,用户产品关注表。

这四个是根据数据进行划分的启动日志,参照用户行为日志表 进行数据分类 分类其实就是一个建模 根据维度划分数据的一个过程 按照用户 维度下面的数据结构 数据是分为多种的 因为用户有不同的操作 不同的用户数据 首先看一下用户启动日志表 首先要找到启动 里面有一个叫左加载 。

用户自动日志表【DWD】

(ods mshop ods 01 useractlog)

create esternal table if not exists dwd_ nshop dwd _nshop actlog launch(

wser string comest "用户 id"

device_rum strine comment"设备号"

device type string ccert设备类型

es string comment手机系统

es version string commest手机系统版本

manufacturer strirg comment 手机制造商

carrier string comment电信运营商,

setwork_type string comment网络类型

area_ code string comment地区编码

launch time segment string coment启动时间段

ct bigint comment产生时间

) partitioned by (bdp day string)

stered as parquet

location"/ data/ rnshop/ dwd_nshop_actlog_launch/"


用户行为日志

Action 行为种类

INSTALL("01," install",安装"),

LAUNCH("02", ""launch",加载),

LOGIN("03"," login","登陆"),

REGISTER("04"," register","注册"),

INTERACTIVE("05"," interactive","交互行为"),

EXIT("06","exit","退出"),

PAGE_ENTER_HS("07"," page_enter_hs","页面进入"),

PAGE_ENTER_NATIVE("08"," page_enter_native","页面进入"),

eventtype 事件类型

VIEW("01"," view","浏览"),

CLICK("02"," click","点击"),

INPUT("03"," input","输入"),

SLIDE("04"," slide","滑动"),

加载之后会产生对应的网页,这个行为日志就是用户启动的行为日志,可以按照启动的行为日志划分一个主题,上面所说的用户启动主题,用户启动日志表。

 

用户产品浏览表

浏览和网站的交互有关系,比如说进行点击浏览,和交互有关系,行为应该是05,启动日志表示02,其他的比如说用户浏览查询关注,这些是05以内的,因为已经和网站里的页面进行交互了,需要去05查找数据。

数据获取的时候也是一样的,获取用户行为日志的时候,数据是02和05,查询一下用户行为日志是什么样子的。

连上之后进行 have,接下来查看用户行为日志数据,找到用户的表。

如果做用户启动行为日志表的话,找02这条数据,如果想要做浏览 关注和查询,需要去找交互05。每一个对应的action 行为都有对应的事件对应的事件有相关的操作和分析,分析在用户行为日志表里。

action-interactiveR 互

eventtype-click=点击

extinfo-{

类型:

targettype:店铺3产品4

产品:

targetaction: product 产品+关注 e1点赞0203回复

targetid:[商品 id]

店铺:

target action:shop店铺+关注01

target ids:【店铺 id]

eventtypevie浏览滑动(产品相关信息浏览,暂不涉及评论部分)

extinfo=(

类型:

targettype:店铺3产品4

产品:

targetids:多商品 id

targetorder:10: default|20:销量升序1:销量降序30:价格升序31:价格降序

target _keys:"产品分类代码"

参照这个去做,首先 创建用户主题下的用户启动日志表,可以用很多工具,现在没有库,可以按照 hue 客户端操作界面,创建一个 Database dwd,然后复制一下,现在库有 dwd,现在已经有用户启动日志表,可以写 SQL。

在桌面上创建一个笔记,把所有的 SQL 全放在里面,每个表都写上名字,比如说用户启动日志表,先分析用户主题。

接下来做用户启动日志表,需要用户 ID,设备号,设备类型,手机系统,手机系统版本,手机制造商,电信运营商,网络类型等等,根据字段获取值,里面还有一个获取时间段,不需要过多的限制,比如说0点~6点,分为四个时间段,算早晨,6点以后到12点算上午,从12点开始到晚上6点算下午,晚上6点到凌晨算晚上。

在计算的时间,需要时间来判断时间段,根据时间判断当前的时间段是什么时候,先把有的字段取出来,写在笔记当中。

启动是02,查询里面是有02的,先把需要的资源查出来。

select

customer id

device_num,

device_type

os,

os version,

manutacturer,

carrier,

network_type,

area code,

longitude,

from ods_nshop. ods_nshop_01_useractlog

where

bdp_day=20200321

and

action='02'

经纬度没有用,地区编码即可。一共九个字段 已经按照条件查询,还有一个时间段没有求。

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
6月前
|
Java 微服务 Spring
微服务——SpringBoot使用归纳——Spring Boot使用slf4j进行日志记录——使用Logger在项目中打印日志
本文介绍了如何在项目中使用Logger打印日志。通过SLF4J和Logback,可设置不同日志级别(如DEBUG、INFO、WARN、ERROR)并支持占位符输出动态信息。示例代码展示了日志在控制器中的应用,说明了日志配置对问题排查的重要性。附课程源码下载链接供实践参考。
639 0
|
4月前
|
Java 应用服务中间件 Linux
Tomcat运行日志字符错乱/项目启动时控制台日志乱码问题
总结: 通过以上几种方法,概括如下:指定编码格式、设置JVM的文件编码、修改控制台输出编码、修正JSP页面编码和设置过滤器。遵循这些步骤,你可以依次排查和解决Tomcat运行日志字符错乱及项目启动时控制台日志乱码问题。希望这些建议能对你的问题提供有效的解决方案。
804 16
|
9月前
|
人工智能 监控 算法
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
3D-Speaker是阿里巴巴通义实验室推出的多模态说话人识别开源项目,结合声学、语义和视觉信息,提供高精度的说话人识别和语种识别功能。项目包含工业级模型、训练和推理代码,以及大规模多设备、多距离、多方言的数据集,适用于多种应用场景。
1696 18
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
|
9月前
|
Java Maven
java项目中jar启动执行日志报错:no main manifest attribute, in /www/wwwroot/snow-server/z-server.jar-jar打包的大小明显小于正常大小如何解决
在Java项目中,启动jar包时遇到“no main manifest attribute”错误,且打包大小明显偏小。常见原因包括:1) Maven配置中跳过主程序打包;2) 缺少Manifest文件或Main-Class属性。解决方案如下:
2194 8
java项目中jar启动执行日志报错:no main manifest attribute, in /www/wwwroot/snow-server/z-server.jar-jar打包的大小明显小于正常大小如何解决
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之新建项目的元数据的sql报错,如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
137 0
|
10月前
|
JSON Java 数据库
SpringBoot项目使用AOP及自定义注解保存操作日志
SpringBoot项目使用AOP及自定义注解保存操作日志
194 1
|
11月前
|
SQL 关系型数据库 MySQL
Go语言项目高效对接SQL数据库:实践技巧与方法
在Go语言项目中,与SQL数据库进行对接是一项基础且重要的任务
220 11
|
JSON 中间件 Go
go语言后端开发学习(四) —— 在go项目中使用Zap日志库
本文详细介绍了如何在Go项目中集成并配置Zap日志库。首先通过`go get -u go.uber.org/zap`命令安装Zap,接着展示了`Logger`与`Sugared Logger`两种日志记录器的基本用法。随后深入探讨了Zap的高级配置,包括如何将日志输出至文件、调整时间格式、记录调用者信息以及日志分割等。最后,文章演示了如何在gin框架中集成Zap,通过自定义中间件实现了日志记录和异常恢复功能。通过这些步骤,读者可以掌握Zap在实际项目中的应用与定制方法
528 1
go语言后端开发学习(四) —— 在go项目中使用Zap日志库
|
开发框架 .NET Docker
【Azure 应用服务】App Service .NET Core项目在Program.cs中自定义添加的logger.LogInformation,部署到App Service上后日志不显示Log Stream中的问题
【Azure 应用服务】App Service .NET Core项目在Program.cs中自定义添加的logger.LogInformation,部署到App Service上后日志不显示Log Stream中的问题
162 1
|
XML Java Maven
logback在springBoot项目中的使用 springboot中使用日志进行持久化保存日志信息
这篇文章详细介绍了如何在Spring Boot项目中使用logback进行日志记录,包括Maven依赖配置、logback配置文件的编写,以及实现的日志持久化和控制台输出效果。
logback在springBoot项目中的使用 springboot中使用日志进行持久化保存日志信息

热门文章

最新文章