助力工业物联网,工业大数据之服务域:安装主题分析实现【二十七】

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 助力工业物联网,工业大数据之服务域:安装主题分析实现【二十七】

09:服务域:安装主题分析实现

  • 目标掌握安装主题的需求分析及实现
  • 路径
  • step1:需求
  • step2:分析
  • step3:实现
  • 实施
  • 需求:统计不同维度下的安装主题指标的结果

  • 分析
  • 指标:安装数量、支付金额
  • 维度
  • 安装方式
  • 日期维度:天、周、月
  • 油站维度:类型、省份、城市、地区
  • 客户维度:类型、省份
  • 数据
  • 事实表
  • fact_srv_install:安装事务事实表
select
    inst_id, --安装单id
    inst_type_id, --安装方式id 1-设备安装,2-设备联调
    exp_device_money, --安装费用
    dt,--日期
os_id --油站id
from one_make_dwb.fact_srv_install;
  • 维度表
  • dim_oilstation:油站维度表
select
    id,--油站id
    company_name,--公司名称
    province_name,--省份名称
    city_name,--城市名称
    county_name,--区域名称
    customer_classify_name,--客户名称
  customer_province_name--客户省份
from dim_oilstation;
  • dim_date:时间维度表
select
    date_id,--天
    week_in_year_id,--周
  year_month_id --月
from dim_date;
  • 实现
  • 建表
create table if not exists one_make_st.subj_install(
    install_way string comment '安装方式'
    ,install_sum bigint comment '安装数量'
    ,sum_money int comment '支付费用'
    ,dws_day string comment '日期维度-按天'
    ,dws_week string comment '日期维度-按周'
    ,dws_month string comment '日期维度-按月'
    ,oil_type string comment '油站维度-油站类型'
    ,oil_province string comment '油站维度-油站所属省'
    ,oil_city string comment '油站维度-油站所属市'
    ,oil_county string comment '油站维度-油站所属区'
    ,customer_classify string comment '客户维度-客户类型'
    ,customer_province string comment '客户维度-客户所属省'
) comment '安装主题表'
partitioned by (month string, week string, day string)
stored as orc
location '/data/dw/st/one_make/subj_install';
  • 构建
insert overwrite table one_make_st.subj_install partition(month = '202101', week='2021W1', day='20210101')
  select
    --安装方式
      max(case when install.inst_type_id = 1 then '设备安装' when install.inst_type_id = 2 then '设备联调' else '未知' end) install_way
      , count(install.inst_id) install_sum                                     --安装数量
    , sum(install.exp_device_money) sum_money                      --支付金额
      , dd.date_id dws_day                                                     --日期天
      , dd.week_in_year_id dws_week                                            --日期周
      , dd.year_month_id dws_month                                             --日期月
      , dimoil.company_name oil_type                                           --油站类型
      , dimoil.province_name oil_province                                      --油站省份
      , dimoil.city_name oil_city                                              --油站城市
      , dimoil.county_name oil_county                                          --油站地区
      , dimoil.customer_classify_name customer_classify                        --客户类型
      , dimoil.customer_province_name customer_province                        --客户省份
  --安装事务事实表
  from one_make_dwb.fact_srv_install install
  --关联日期维度表
  left join one_make_dws.dim_date dd on install.dt = dd.date_id
  --关联油站维度表
  left join one_make_dws.dim_oilstation dimoil on install.os_id = dimoil.id
  where dd.year_month_id = '202101' and dd.week_in_year_id = '2021W1' and dd.date_id = '20210101'
  --按照维度分组
  group by
      inst_type_id,
      dd.date_id, dd.week_in_year_id, dd.year_month_id,
      dimoil.company_name, dimoil.province_name, dimoil.city_name, dimoil.county_name,
      dimoil.customer_classify_name, dimoil.customer_province_name
  ;
  • 小结
  • 掌握安装主题的需求分析及实现

10:服务域:维修主题分析实现

  • 目标掌握维修主题的需求分析及实现
  • 路径
  • step1:需求
  • step2:分析
  • step3:实现
  • 实施
  • 需求:统计不同维度下的维修主题指标的结果

  • 分析
  • 指标
  • 支付费用、工时费用、零部件费用、交通费用
  • 故障总数、最大数量、平均数量
  • 维度
  • 日期维度:天、周、月
  • 油站维度:类型、省份、城市、地区
  • 客户维度:类型、省份
  • 物流公司
  • 数据
  • 事实表
  • fact_srv_repair:维修事务事实表
select
    hour_money,--工时费用
    parts_money,--配件物料费用
    fars_money,--交通费用
    fault_type_ids, --故障id集合
    dt,--日期
    os_id,--油站id
  ss_id --服务网点id
from fact_srv_repair;
  • fact_srv_stn_ma:网点物料事务事实表
select
  ss_id,--服务网点id
  logi_cmp_id --物流公司id
from fact_srv_stn_ma;
  • 维度表
  • dim_oilstation:油站维度表
select
    id,--油站id
    company_name,--公司名称
    province_name,--省份名称
    city_name,--城市名称
    county_name,--区域名称
    customer_classify_name,--客户名称
  customer_province_name--客户省份
from dim_oilstation;
  • dim_date:时间维度表
select
    date_id,--天
    week_in_year_id,--周
  year_month_id --月
from dim_date;
  • dim_logistics:物流维度表
select 
  type_id,  --物流公司id
type_name --物流公司名称
from one_make_dws.dim_logistics where prop_name = '物流公司';
  • 实现
  • 建表
drop table if exists one_make_st.subj_repair;
create table if not exists one_make_st.subj_repair(
    sum_pay_money decimal(20,1) comment '支付费用'
    ,sum_hour_money decimal(20,1) comment '小时费用'
    ,sum_parts_money decimal(20,1) comment '零部件费用'
    ,sum_fars_money decimal(20,1) comment '交通费用'
    ,sum_faulttype_num bigint comment '故障类型总数'
    ,max_faulttype_num int comment '故障类型最大数量'
    ,avg_faulttype_num int comment '故障类型平均数量'
    ,dws_day string comment '日期维度-按天'
    ,dws_week string comment '日期维度-按周'
    ,dws_month string comment '日期维度-按月'
    ,oil_type string comment '油站维度-油站类型'
    ,oil_province string comment '油站维度-油站所属省'
    ,oil_city string comment '油站维度-油站所属市'
    ,oil_county string comment '油站维度-油站所属区'
    ,customer_classify string comment '客户维度-客户类型'
    ,customer_province string comment '客户维度-客户所属省'
    ,logi_company string comment '物流公司维度-物流公司名称'
) comment '维修主题表'
partitioned by (month String, week String, day String)
stored as orc
location '/data/dw/st/one_make/subj_repair';
  • 构建
insert overwrite table one_make_st.subj_repair partition(month = '202101', week='2021W1', day='20210101')
  select
      sum(pay_money) sum_pay_money,         --支付费用
    sum(hour_money) sum_hour_money,             --工时费用
      sum(parts_money) sum_parts_money,           --物料费用
    sum(fars_money) sum_fars_money,             --交通费用
      sum(fault_type_num) sum_faulttype_num,      --故障类型总数
    max(fault_type_num) max_faulttype_num,      --最大故障数量
      avg(fault_type_num) avg_faulttype_num,      --平均故障数量
    dws_day,                                    --日期天
    dws_week,                                   --日期周
    dws_month,                                  --日期月
    oil_type,                                   --油站类型
      oil_province,                               --油站省份
    oil_city,                                   --油站城市
    oil_county,                                 --油站区域
    customer_classify,                          --客户类型
    customer_province,                          --客户省份
    logi_company                                --物流公司
  from (
       select
         (hour_money + parts_money+fars_money) pay_money,
         hour_money,
         parts_money,
         fars_money,
         case when (size(split(fault_type_ids, ','))) <= 0 then 0 else (size(split(fault_type_ids, ','))) end fault_type_num,
         dd.date_id dws_day,
         dd.week_in_year_id dws_week,
         dd.year_month_id dws_month,
         dimoil.company_name oil_type,
         dimoil.province_name oil_province,
         dimoil.city_name oil_city,
         dimoil.county_name oil_county,
         dimoil.customer_classify_name customer_classify,
         dimoil.customer_province_name customer_province,
         type_name logi_company
       --维修事务事实表
       from one_make_dwb.fact_srv_repair repair
       --关联日期维度表
       left join one_make_dws.dim_date dd on repair.dt = dd.date_id
       --关联油站维度表
       left join one_make_dws.dim_oilstation dimoil on repair.os_id = dimoil.id
       --关联网点物料事实表:获取物流公司id
       left join one_make_dwb.fact_srv_stn_ma fssm on repair.ss_id = fssm.ss_id
       --关联物流维度表:获取物流公司名称
       left join (
            select type_id, type_name from one_make_dws.dim_logistics where prop_name = '物流公司'
                  ) dl on fssm.logi_cmp_id = dl.type_id
       where dd.year_month_id = '202101'and dd.week_in_year_id = '2021W1' and  dd.date_id = '20210101' and exp_rpr_num = 1
      ) repair_tmp
  group by dws_day, dws_week, dws_month, oil_type, oil_province, oil_city, oil_county,customer_classify, customer_province,logi_company;
  • 小结
  • 掌握维修主题的需求分析与实现


相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
目录
相关文章
|
7月前
|
消息中间件 网络协议 物联网
MQTT常见问题之物联网设备端申请动态注册时MQTT服务不可用如何解决
MQTT(Message Queuing Telemetry Transport)是一个轻量级的、基于发布/订阅模式的消息协议,广泛用于物联网(IoT)中设备间的通信。以下是MQTT使用过程中可能遇到的一些常见问题及其答案的汇总:
|
7月前
|
SQL 分布式计算 大数据
请问本地安装了大数据计算MaxCompute studio,如何验证联通性及基本DDL操作呢?
请问本地安装了大数据计算MaxCompute studio,如何验证联通性及基本DDL操作呢?
64 0
|
1月前
|
存储 人工智能 大数据
物联网、大数据、云计算、人工智能之间的关系
物联网、大数据、云计算、人工智能之间的关系是紧密相连、相互促进的。这四者既有各自独立的技术特征,又能在不同层面上相互融合,共同推动信息技术的发展和应用。
424 0
|
2月前
|
安全 物联网 数据挖掘
选择物联网卡如何筛选服务提供商呢
在选择物联网卡服务提供商时,您需要考虑多个因素以确保所选服务商能够满足您的业务需求,同时提供稳定可靠的服务。以下是一些关键步骤和建议,帮助您筛选物联网卡服务提供商:
|
4月前
|
分布式计算 搜索推荐 物联网
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
|
5月前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用合集之如何实现嵌入式设备到物联网平台再到PAI DSW的云边结合
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
7月前
|
大数据 Docker 容器
大数据 安装指南-----利用docker
大数据 安装指南-----利用docker
95 0
|
6月前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
267 0
|
7月前
|
分布式计算 Hadoop 大数据
[大数据] mac 史上最简单 hadoop 安装过程
[大数据] mac 史上最简单 hadoop 安装过程
|
7月前
|
大数据 Linux 虚拟化
大数据软件基础(3) —— 在VMware上安装Linux集群
大数据软件基础(3) —— 在VMware上安装Linux集群
118 0