电商项目之总体运营指标统计表执行 Log 讲解|学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习电商项目之总体运营指标统计表执行 Log 讲解

开发者学堂课程【新电商大数据平台2020最新课程电商项目之总体运营指标统计表执行 Log 讲解】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/640/detail/10564


电商项目之总体运营指标统计表执行 Log 讲解

 

电商项目已经快到了收尾阶段,在上节中试验了总体运营指标统计表,在上节课中已经运营完成,本节课查看任务,然后补全这个表。

在 select 前加上以下内容,这样才算完整的代码。在总体运营指标统计表4x【ADS】中拷贝以下内容:

insert overwrite table ads_nshop.ads_ nshop_oper_ stat partition(bdp_day= ' 20200321')

进行保存,就是完整的 sercue.

再复习一遍日志,因为任务比较多,里面总共产生了14个任务。

Launching job 1 out of 14是开始执行的第一个任务,第一个任务比较长,并且任务执行的速度比较慢,因为资源比较有限。

然后接着开始运行其他的任务,期间略过了第五个任务,因为第五个任务没有什么可以操作的。stage-Stage-14: Map: 1Cumulative CPU: 1.86secHDFS Read: 35270 HLTotal MapReduce CPu Time Spent: 1 minutes 13 Keconds 810 msec 显示了整体运行的时间。,虽然速度比较慢,但是运行结果都是 success。

这个表应该就是最长的一个 sercue,所以在统计运营指标时,里面的一些计算可能比较复杂。customer_natives stringCON4ENT‘所在地区',--consignee_zipcode stringCOPMENT 收货人地区",如果大家将收货人地区再添加进去,就会更加麻烦。其实这两个意思是相近的。

order_counts int comment "订单数",

order_rate int comment"下单率',

order_amounts int comment '销售总金额",

order_discounts int comment"优惠总金额',

shipping_amounts int comment "运费总金额",per_customer_transaction int comment '客单价")

partitioned by (bdp_day string)

stored as parquet

location"/data/nshop/ads/operation/ ads_nshop_oper_stat/'

以上的内容都是应用下面的 sercue 实现的,大家可以自己尝试运行,时间也不算长2-3分钟就可以实现。

select

od.customer_gender,

od.customer_age_range,

od.custoemr_ natives ,

od.category_ code,

od. order counts/pdview.pdview_count order_rate,

od. order_ amounts,

od.order_ discounts,

od. shipping_amounts,

od.per_ customer_transaction

from

od

join

pdview

on

od.customer_gender = pdvi ew. cuS tomer_gender  

and

od.customer_age_range = pdview.customer_age_ range

and

od.customer_ natives =pdview. custoear_natives

od.category_code =pdview. category_code

最后运行结果如下:

(整体结果可以,就是慢一点)

image.png

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
本文介绍了PyTorch中的F.softmax()和F.log_softmax()函数的语法、参数和使用示例,解释了它们在进行归一化处理时的作用和区别。
386 1
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
|
18天前
|
JSON Java 数据库
SpringBoot项目使用AOP及自定义注解保存操作日志
SpringBoot项目使用AOP及自定义注解保存操作日志
33 1
|
1月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
197 0
|
3月前
|
jenkins 持续交付
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
|
3月前
|
JSON 中间件 Go
go语言后端开发学习(四) —— 在go项目中使用Zap日志库
本文详细介绍了如何在Go项目中集成并配置Zap日志库。首先通过`go get -u go.uber.org/zap`命令安装Zap,接着展示了`Logger`与`Sugared Logger`两种日志记录器的基本用法。随后深入探讨了Zap的高级配置,包括如何将日志输出至文件、调整时间格式、记录调用者信息以及日志分割等。最后,文章演示了如何在gin框架中集成Zap,通过自定义中间件实现了日志记录和异常恢复功能。通过这些步骤,读者可以掌握Zap在实际项目中的应用与定制方法
131 1
go语言后端开发学习(四) —— 在go项目中使用Zap日志库
|
3月前
|
开发框架 .NET Docker
【Azure 应用服务】App Service .NET Core项目在Program.cs中自定义添加的logger.LogInformation,部署到App Service上后日志不显示Log Stream中的问题
【Azure 应用服务】App Service .NET Core项目在Program.cs中自定义添加的logger.LogInformation,部署到App Service上后日志不显示Log Stream中的问题
|
3月前
|
XML Java Maven
logback在springBoot项目中的使用 springboot中使用日志进行持久化保存日志信息
这篇文章详细介绍了如何在Spring Boot项目中使用logback进行日志记录,包括Maven依赖配置、logback配置文件的编写,以及实现的日志持久化和控制台输出效果。
logback在springBoot项目中的使用 springboot中使用日志进行持久化保存日志信息
|
4月前
|
开发框架 NoSQL 前端开发
在Winform项目和Web API的.NetCore项目中使用Serilog 来记录日志信息
在Winform项目和Web API的.NetCore项目中使用Serilog 来记录日志信息
|
3月前
|
数据可视化 Java API
如何在项目中快速引入Logback日志并搭配ELK使用
如何在项目中快速引入Logback日志并搭配ELK使用
|
3月前
|
开发框架 .NET API
如何在 ASP.NET Core Web Api 项目中应用 NLog 写日志?
如何在 ASP.NET Core Web Api 项目中应用 NLog 写日志?
178 0