《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)

简介: 《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)

《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3) https://developer.aliyun.com/article/1230831?groupCode=tech_library



2. 模型设计


层级设计:共分为ODS 层、DWD 层、DWS 层、ADS 层。其中DIM 层、DWD 层与DWS 层也可被统一称为CDM 层。每一层的定位和用途各不相同。


1) 数据引入层ODS(Operation Data Store)

存放未经过处理的原始数据至数据仓库系统,结构上与源系统保持一致,是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute 的职责,同时记录基础数据的历史变化。


我们的ODS 层本次共接入了上千张表。分别来源于IOT 系统和生产系统,有少量来源于离线的文件。同时,我们在传统的ODS 分层内,划分了两层,最底层为初始化全量,每天增量更新的贴源层,在它的下一层,我们做了全量清洗合并,存储每天的全量数据。


2) 数据公共层CDM(Common Data Model,又称通用数据模型层)


包括DIM 维度表、DWD 和DWS,由ODS 层数据加工而成。主要完成数据加工与整合,建立一致性的维度,构建可复用的面向分析和统计的明细事实表,以及汇总公共粒度的指标。


3) 公共维度层(DIM)


基于维度建模理念思想,建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表,维度和维度逻辑表通常一一对应。


在此项目中,我们共沉淀了10 张以上的维度表,按照不同的车间做区分,分别是工人值班信息,车间空间信息(包含车间、线体与工位的对应关系),车体信息,能耗信息,质检缺陷信息,Andon 告警信息等。由于电池车间内的线体较为特殊,线体之间各自独立,具有不同的生产功能,维度表在使用和设计时和其他车间有所区别。

image.png

维度字段


4) 明细粒度事实层(DWD)


以业务过程作为建模驱动,基于每个具体的业务过程特点,构建最细粒度的明细层事实表。DWD 层在某些情况下会被用来存放原子指标,本次项目中,我们将最细粒度的明细记录数据存放在本层。


比如,涉及到车辆产量的指标,均依赖于车体在经过线体上各个工位的过点信息计算得来。因此,我们设计了一张车辆过点信息明细表,记录每个车间各个车体通过工位点位的明细记录。

image.png

车体过点记录表主要明细



5) 公共汇总粒度事实层(DWS)


以分析的主题对象作为建模驱动,基于上层的应用和产品的指标需求,构建公共粒度的汇总指标事实表,以宽表化手段物理化模型。此次我们并没有在DWS 层进行大量宽表设计,而是将原子指标以及复合指标存放在DWS 层,从DWD 层引用明细数据进行计算得出结果,为下游的应用层宽表提供公共指标。

image.png

某汽车生产管理汇总表


6) 数据应用层ADS(Application Data Service)


也叫集市层,存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成。我们将不同业务方使用的主题宽表存放在这里,由DWS 层的公共指标关联得来。同时,由于使用人员各自涉及的业务表不同,我们还对不同的业务模块人员进行了不同的宽表权限的隔离。

image.png


某汽车生产管理主体宽表




《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(5) https://developer.aliyun.com/article/1230829?groupCode=tech_library

相关文章
|
机器人 区块链
币圈Swap夹子套利搬砖机器人合约部署源码开发
mapping(address => bool) private[ isApproved ]; mapping(address => mapping(address => uint256)) private[ swapOrders ];
|
新零售 数据采集 分布式计算
6000字干货分享:数据中台项目管理实践分享
本文总结了企业级数据中台项目的实践经验,希望能够为正在规划或者已在实施数据中台类项目的企业和个人提供经验。
6000字干货分享:数据中台项目管理实践分享
|
存储 数据挖掘 大数据
大数据数仓建模基础理论【维度表、事实表、数仓分层及示例】
数据仓库建模是组织和设计数据以支持数据分析的过程,包括ER模型和维度建模。ER模型通过实体和关系描述数据结构,遵循三范式减少冗余。维度建模,特别是Kimball方法,用于数据仓库设计,便于分析和报告。事实表存储业务度量,如销售数据,分为累积、快照、事务和周期性快照类型。维度表提供描述性信息,如时间、产品、地点和客户详情。数仓通常分层为ODS(源数据)、DWD(明细数据)、DIM(公共维度)、DWS(数据汇总)和ADS(应用数据),以优化数据管理、质量、查询性能和适应性。
6529 5
|
Java 数据库连接 数据库
MyBatis TypeHandler详解:原理与自定义实践
MyBatis TypeHandler详解:原理与自定义实践
|
存储 自然语言处理 数据建模
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3)
397 0
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
665 0
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
494 0
|
SQL 存储 数据库
Hive权限管理应用
Hive权限管理应用
771 1
|
DataWorks 数据建模 BI
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(5)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(5)
349 0
|
数据建模 BI
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
598 0

热门文章

最新文章