《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)

简介: 《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)

《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3) https://developer.aliyun.com/article/1230831?groupCode=tech_library



2. 模型设计


层级设计:共分为ODS 层、DWD 层、DWS 层、ADS 层。其中DIM 层、DWD 层与DWS 层也可被统一称为CDM 层。每一层的定位和用途各不相同。


1) 数据引入层ODS(Operation Data Store)

存放未经过处理的原始数据至数据仓库系统,结构上与源系统保持一致,是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute 的职责,同时记录基础数据的历史变化。


我们的ODS 层本次共接入了上千张表。分别来源于IOT 系统和生产系统,有少量来源于离线的文件。同时,我们在传统的ODS 分层内,划分了两层,最底层为初始化全量,每天增量更新的贴源层,在它的下一层,我们做了全量清洗合并,存储每天的全量数据。


2) 数据公共层CDM(Common Data Model,又称通用数据模型层)


包括DIM 维度表、DWD 和DWS,由ODS 层数据加工而成。主要完成数据加工与整合,建立一致性的维度,构建可复用的面向分析和统计的明细事实表,以及汇总公共粒度的指标。


3) 公共维度层(DIM)


基于维度建模理念思想,建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表,维度和维度逻辑表通常一一对应。


在此项目中,我们共沉淀了10 张以上的维度表,按照不同的车间做区分,分别是工人值班信息,车间空间信息(包含车间、线体与工位的对应关系),车体信息,能耗信息,质检缺陷信息,Andon 告警信息等。由于电池车间内的线体较为特殊,线体之间各自独立,具有不同的生产功能,维度表在使用和设计时和其他车间有所区别。

image.png

维度字段


4) 明细粒度事实层(DWD)


以业务过程作为建模驱动,基于每个具体的业务过程特点,构建最细粒度的明细层事实表。DWD 层在某些情况下会被用来存放原子指标,本次项目中,我们将最细粒度的明细记录数据存放在本层。


比如,涉及到车辆产量的指标,均依赖于车体在经过线体上各个工位的过点信息计算得来。因此,我们设计了一张车辆过点信息明细表,记录每个车间各个车体通过工位点位的明细记录。

image.png

车体过点记录表主要明细



5) 公共汇总粒度事实层(DWS)


以分析的主题对象作为建模驱动,基于上层的应用和产品的指标需求,构建公共粒度的汇总指标事实表,以宽表化手段物理化模型。此次我们并没有在DWS 层进行大量宽表设计,而是将原子指标以及复合指标存放在DWS 层,从DWD 层引用明细数据进行计算得出结果,为下游的应用层宽表提供公共指标。

image.png

某汽车生产管理汇总表


6) 数据应用层ADS(Application Data Service)


也叫集市层,存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成。我们将不同业务方使用的主题宽表存放在这里,由DWS 层的公共指标关联得来。同时,由于使用人员各自涉及的业务表不同,我们还对不同的业务模块人员进行了不同的宽表权限的隔离。

image.png


某汽车生产管理主体宽表




《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(5) https://developer.aliyun.com/article/1230829?groupCode=tech_library

相关文章
|
自然语言处理 DataWorks 数据建模
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(6)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(6)
175 0
|
DataWorks 数据建模 BI
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(5)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(5)
165 0
|
存储 自然语言处理 数据建模
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3)
201 0
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
243 0
|
DataWorks 数据建模
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(7)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(7)
121 0
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
296 0
|
DataWorks 数据建模 BI
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(8)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(8)
132 0
|
存储 运维 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)
141 0
|
DataWorks 数据可视化 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)
120 0
|
数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(6)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(6)
135 0