开发者学堂课程【新电商大数据平台2020最新课程:电商项目之总体运营指标统计表执行 Log 讲解】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/640/detail/10564
电商项目之总体运营指标统计表执行 Log 讲解
电商项目已经快到了收尾阶段,在上节中试验了总体运营指标统计表,在上节课中已经运营完成,本节课查看任务,然后补全这个表。
在 select 前加上以下内容,这样才算完整的代码。在总体运营指标统计表4x【ADS】中拷贝以下内容:
insert overwrite table ads_nshop.ads_ nshop_oper_ stat partition(bdp_day= ' 20200321')
进行保存,就是完整的 sercue.
再复习一遍日志,因为任务比较多,里面总共产生了14个任务。
Launching job 1 out of 14是开始执行的第一个任务,第一个任务比较长,并且任务执行的速度比较慢,因为资源比较有限。
然后接着开始运行其他的任务,期间略过了第五个任务,因为第五个任务没有什么可以操作的。stage-Stage-14: Map: 1Cumulative CPU: 1.86secHDFS Read: 35270 HLTotal MapReduce CPu Time Spent: 1 minutes 13 Keconds 810 msec 显示了整体运行的时间。,虽然速度比较慢,但是运行结果都是 success。
这个表应该就是最长的一个 sercue,所以在统计运营指标时,里面的一些计算可能比较复杂。customer_natives stringCON4ENT‘所在地区',--consignee_zipcode stringCOPMENT 收货人地区",如果大家将收货人地区再添加进去,就会更加麻烦。其实这两个意思是相近的。
order_counts int comment "订单数",
order_rate int comment"下单率',
order_amounts int comment '销售总金额",
order_discounts int comment"优惠总金额',
shipping_amounts int comment "运费总金额",per_customer_transaction int comment '客单价")
partitioned by (bdp_day string)
stored as parquet
location"/data/nshop/ads/operation/ ads_nshop_oper_stat/'
以上的内容都是应用下面的 sercue 实现的,大家可以自己尝试运行,时间也不算长2-3分钟就可以实现。
select
od.customer_gender,
od.customer_age_range,
od.custoemr_ natives ,
od.category_ code,
od. order counts/pdview.pdview_count order_rate,
od. order_ amounts,
od.order_ discounts,
od. shipping_amounts,
od.per_ customer_transaction
from
od
join
pdview
on
od.customer_gender = pdvi ew. cuS tomer_gender
and
od.customer_age_range = pdview.customer_age_ range
and
od.customer_ natives =pdview. custoear_natives
od.category_code =pdview. category_code
最后运行结果如下:
(整体结果可以,就是慢一点)