《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3) https://developer.aliyun.com/article/1230831?groupCode=tech_library
2. 模型设计
层级设计:共分为ODS 层、DWD 层、DWS 层、ADS 层。其中DIM 层、DWD 层与DWS 层也可被统一称为CDM 层。每一层的定位和用途各不相同。
1) 数据引入层ODS(Operation Data Store)
存放未经过处理的原始数据至数据仓库系统,结构上与源系统保持一致,是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute 的职责,同时记录基础数据的历史变化。
我们的ODS 层本次共接入了上千张表。分别来源于IOT 系统和生产系统,有少量来源于离线的文件。同时,我们在传统的ODS 分层内,划分了两层,最底层为初始化全量,每天增量更新的贴源层,在它的下一层,我们做了全量清洗合并,存储每天的全量数据。
2) 数据公共层CDM(Common Data Model,又称通用数据模型层)
包括DIM 维度表、DWD 和DWS,由ODS 层数据加工而成。主要完成数据加工与整合,建立一致性的维度,构建可复用的面向分析和统计的明细事实表,以及汇总公共粒度的指标。
3) 公共维度层(DIM)
基于维度建模理念思想,建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表,维度和维度逻辑表通常一一对应。
在此项目中,我们共沉淀了10 张以上的维度表,按照不同的车间做区分,分别是工人值班信息,车间空间信息(包含车间、线体与工位的对应关系),车体信息,能耗信息,质检缺陷信息,Andon 告警信息等。由于电池车间内的线体较为特殊,线体之间各自独立,具有不同的生产功能,维度表在使用和设计时和其他车间有所区别。
维度字段
4) 明细粒度事实层(DWD)
以业务过程作为建模驱动,基于每个具体的业务过程特点,构建最细粒度的明细层事实表。DWD 层在某些情况下会被用来存放原子指标,本次项目中,我们将最细粒度的明细记录数据存放在本层。
比如,涉及到车辆产量的指标,均依赖于车体在经过线体上各个工位的过点信息计算得来。因此,我们设计了一张车辆过点信息明细表,记录每个车间各个车体通过工位点位的明细记录。
车体过点记录表主要明细
5) 公共汇总粒度事实层(DWS)
以分析的主题对象作为建模驱动,基于上层的应用和产品的指标需求,构建公共粒度的汇总指标事实表,以宽表化手段物理化模型。此次我们并没有在DWS 层进行大量宽表设计,而是将原子指标以及复合指标存放在DWS 层,从DWD 层引用明细数据进行计算得出结果,为下游的应用层宽表提供公共指标。
某汽车生产管理汇总表
6) 数据应用层ADS(Application Data Service)
也叫集市层,存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成。我们将不同业务方使用的主题宽表存放在这里,由DWS 层的公共指标关联得来。同时,由于使用人员各自涉及的业务表不同,我们还对不同的业务模块人员进行了不同的宽表权限的隔离。
某汽车生产管理主体宽表
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(5) https://developer.aliyun.com/article/1230829?groupCode=tech_library