电商项目之 DWD 用户产品浏览表 SQL 实现|学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习电商项目之 DWD 用户产品浏览表 SQL 实现

开发者学堂课程【新电商大数据平台2020最新课程电商项目之 DWD 用户产品浏览表 SQL 实现】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/640/detail/10527


电商项目之 DWD 用户产品浏览表 SQL 实现

 

目录:

一、用户启动日志表介绍

二、用户产品浏览表实现

三、编写以及运行用户流览表

 

一、用户启动日志表介绍

用户主题下的用户启动日志表,是按照数据划分的,因为用户的操作不同,产生的时间就不一样,包括它所使用的action 类型也不同。

 

二、用户产品浏览表实现

找到项目文档,找到产品流览表,在后面的操作中进行调度,可以直接查看运行方式和运行结果。

找的数据要符合浏览,用户行为日志里有交互行为,交互行为里面有浏览,也可以从页面介入里看,只有一个 target id 是纯浏览,所以在做的时候先去看大的方向,即行为的方向,再去看类型。此时应该找页面介入,交互的意思是后续的操作,并不需要它,只需要统计用户浏览即可。只需要看商品id就可以了

 

三、编写以及运行用户流览表

先看一下字段,再看产品 id,可以去查询表:

FAILED:SemanticException [Error 10001]: Line 1:14 Table not found 'ods nshop_01_useractlo'hive> select * from ods_nshop.ods_nshop_01_useractlog limit 10;

insert overwrite dwd_nshop.dwd_nshop_actlog_pdtview partition(bdp_day) select 1

编写如下:

insert overwrite dwd_nshop.dwd_nshop_actlog_pdtview partition(bdp_day)

select

customer_id,

device_num ,

device_type,

oS ,

os_version ,

manufacturer,

carrier,

network_type,

area_code,

get_json_object(extinfo,'$.target_id')as target_id,

duration,

ct,

bdp_day

from ods_nshop.ods_nshop_01_useractlog

where

bdp_day='20200321'

and

action in('07','08')

//开启本地模式

hive> set hive.exec.dynamic.partition=true;

hive> set hive.exec.dynamic.partition.mode=nonstrict;

hive> set hive.exec.mode.local.auto=true;

此时运行结果如下:

image.png

有数据即成功。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何在SQL语句里使用CASE WHEN语句
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
123 2
|
4月前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之新建项目的元数据的sql报错,如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
2月前
|
SQL 关系型数据库 MySQL
Go语言项目高效对接SQL数据库:实践技巧与方法
在Go语言项目中,与SQL数据库进行对接是一项基础且重要的任务
91 11
|
4月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之未保存的ODPS SQL语句该如何找回
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
监控 Java 开发者
揭秘Struts 2性能监控:选对工具与方法,让你的应用跑得更快,赢在起跑线上!
【8月更文挑战第31天】在企业级应用开发中,性能监控对系统的稳定运行至关重要。针对流行的Java EE框架Struts 2,本文探讨了性能监控的工具与方法,包括商用的JProfiler、免费的VisualVM以及Struts 2自带的性能监控插件。通过示例代码展示了如何在实际项目中实施这些监控手段,帮助开发者发现和解决性能瓶颈,确保应用在高并发、高负载环境下稳定运行。选择合适的监控工具需综合考虑项目需求、成本、易用性和可扩展性等因素。
49 0
|
4月前
|
SQL DataWorks 安全
DataWorks产品使用合集之怎么跨项目移动sql任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之sql查询如何导出全量数据
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
SQL 数据库
实时数仓 Hologres产品使用合集之如何找回之前的SQL查询代码
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
4月前
|
SQL 存储 Oracle
MySQL 项目中 SQL 脚本更新、升级方式,防止多次重复执行
MySQL 项目中 SQL 脚本更新、升级方式,防止多次重复执行
85 0
|
4月前
|
SQL 运维 Oracle
SQL Server 项目中 SQL 脚本更新、升级方式,防止多次重复执行
SQL Server 项目中 SQL 脚本更新、升级方式,防止多次重复执行
66 0