助力工业物联网,工业大数据之服务域:油站主题分析【二十六】

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 助力工业物联网,工业大数据之服务域:油站主题分析【二十六】

07:服务域:油站主题分析

  • 目标掌握油站主题的需求分析
  • 路径
  • step1:需求
  • step2:分析
  • 实施
  • 需求:统计不同维度下的油站主题指标的结果

  • 分析
  • 指标:油站数量、新增油站数量
  • 维度
  • 日期维度:天、周、月
  • 油站维度:类型、省份、城市、地区
  • 客户维度:类型、省份
  • 数据表
  • 事实表
  • fact_oil_station:油站事实表
select
    os_num,--油站个数
    current_new_os_num --新增油站个数
from fact_oil_station;
  • 维度表
  • dim_oilstation:油站维度表
select
    id,--油站id
    company_name,--公司名称
    province_name,--省份名称
    city_name,--城市名称
    county_name,--区域名称
    customer_classify_name,--客户名称
    customer_province_name--客户省份
from dim_oilstation;
  • dim_date:时间维度表
select
    date_id,--天
    week_in_year_id,--周
    year_month_id --月
from dim_date;
  • 实现分析
select
       a.os_id,--油站id
       sum(a.os_num),--油站数量
       sum(a.current_new_os_num),--新增油站数量
       b.date_id,--天
       b.week_in_year_id,--周
       b.year_month_id, --月
       c.company_name,--公司名称
       c.province_name,--省份名称
       c.city_name,--城市名称
       c.county_name,--区域名称
       c.customer_classify_name,--客户名称
       c.customer_province_name--客户省份
   from fact_oil_station a
   join one_make_dws.dim_date b on a.dt = b.date_id
   join one_make_dws.dim_oilstation c on a.os_id = c.id
   group by
       b.date_id,--天
       b.week_in_year_id,--周
       b.year_month_id, --月
       c.company_name,--公司名称
       c.province_name,--省份名称
       c.city_name,--城市名称
       c.county_name,--区域名称
       c.customer_classify_name,--客户名称
       c.customer_province_name;--客户省份;
  • 小结
  • 掌握油站主题的需求分析

08:服务域:油站主题实现

  • 目标实现油站主题表的维度指标构建
  • 实施
  • 建表
-- 创建油站主题表
drop table if exists one_make_st.subj_oilstation;
create table if not exists one_make_st.subj_oilstation(
    sum_osnum bigint comment '油站数量'
    ,sumnew_osnum int comment '新增油站数量'
    ,dws_day string comment '日期维度-按天'
    ,dws_week string comment '日期维度-按周'
    ,dws_month string comment '日期维度-按月'
    ,oil_type string comment '油站维度-油站类型'
    ,oil_province string comment '油站维度-油站所属省'
    ,oil_city string comment '油站维度-油站所属市'
    ,oil_county string comment '油站维度-油站所属区'
    ,customer_classify string comment '客户维度-客户类型'
    ,customer_province string comment '客户维度-客户所属省'
) comment '油站主题表'
partitioned by (month String, week String, day String)
stored as orc
location '/data/dw/st/one_make/subj_oilstation';
  • 构建
insert overwrite table one_make_st.subj_oilstation partition(month = '202101', week='2021W1', day='20210101')
select
    sum(oil.os_num) sum_osnum,                          --油站数量
  sum(oil.current_new_os_num) sumnew_osnum,           --新增油站数量
    dd.date_id dws_day,                                 --日期天
  dd.week_in_year_id dws_week,                        --日期周
  dd.year_month_id dws_month,                         --日期月
    dimoil.company_name oil_type,                       --油站类型
  dimoil.province_name oil_province,                  --油站省份
  dimoil.city_name oil_city,                          --油站城市
    dimoil.county_name oil_county,                      --油站区域
  dimoil.customer_classify_name customer_classify,    --客户类型
    dimoil.customer_province_name customer_province     --客户省份
--油站事务事实表
from one_make_dwb.fact_oil_station oil
--关联日期维度表
left join one_make_dws.dim_date dd on oil.dt = dd.date_id
--关联油站维度表
left join one_make_dws.dim_oilstation dimoil on oil.os_id = dimoil.id
where dd.year_month_id = '202101'and dd.week_in_year_id = '2021W1' and  dd.date_id = '20210101'
--按照维度字段分组
group by dd.date_id, dd.week_in_year_id, dd.year_month_id,  dimoil.company_name, dimoil.province_name, dimoil.city_name, dimoil.county_name, dimoil.customer_classify_name, dimoil.customer_province_name;
  • 小结
  • 实现油站主题表的维度指标构建


相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
目录
相关文章
|
2天前
|
机器学习/深度学习 数据可视化 大数据
机器学习与大数据分析的结合:智能决策的新引擎
机器学习与大数据分析的结合:智能决策的新引擎
41 15
|
9天前
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。
|
7天前
|
分布式计算 DataWorks 搜索推荐
用户画像分析(MaxCompute简化版)
通过本教程,您可以了解如何使用DataWorks和MaxCompute产品组合进行数仓开发与分析,并通过案例体验DataWorks数据集成、数据开发和运维中心模块的相关能力。
43 4
|
27天前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
63 4
|
28天前
|
关系型数据库 分布式数据库 数据库
PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具
在数字化时代,企业面对海量数据的挑战,PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具。它不仅支持高速数据读写,还通过数据分区、索引优化等策略提升分析效率,适用于电商、金融等多个行业,助力企业精准决策。
34 4
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
307 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
47 2
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
86 1
|
1月前
|
存储 大数据 数据管理
大数据分区简化数据维护
大数据分区简化数据维护
24 4