开发者学堂课程【智能数据建模训课程 ：客户案例-汽车行业数据建模最佳实践】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/1223/detail/18314
客户案例-汽车行业数据建模最佳实践
本篇文章围绕某一汽车企业项目上智能建模的实践展开，介绍汽车生产过程中建模的细节。
首先介绍汽车行业内企业的需求和现状，项目涵盖了生产车间的 AOT平台、生产系统平台、数据终态和其他智能化数字应用模块。数据链路自下而上依次生长，数据建模的工作内容是建设数据终台时的重要环节，需要为客户从零到一搭建汽车生产业务、数据分析的整个指标体系。对于工业企业，数据指标的建设是以快速、实用为导向开展的，存在以下特点：
1、缺少成熟的数字研发的人员阵型，对于汽车生产领域的指标需求不明确；
2、注重研发规范和业务标准；
3、自带工业相关基因，对于工作进度的体感要求较高。因此，在开展建模工作时，主要围绕数据终台的方法论，同时有效结合客户实际业务情况，打造整个数据终台的模型体系。
在项目实施过程中，该企业建模工作主要分为以下几个步骤：
1、业务调研；
2、需求确认；
3、规范定制；
4、建模设计
首先介绍业务调研。业务调研从业务模块调研、需求调研、数据调研三个维度入手。 在业务模块调研阶段，主要工作是理清客户内部各种业务逻辑，对于汽车生产，了解到客户生产车间共有五个，分别是冲压车间、焊装车间、总装车间、涂装车间和电池车间，是一个典型的整车厂的阵型。每个车间有不同的线体组成，每条线体由不同工位组成。每个车间线体、工位之间功能各不相同，装配步骤也不相同。车体在生产过程中依次通过车位进行装配。
一个车体的生产历经下订单、生产计划下发、生产计划接收、生产流程、告警、车辆检查、返修、车辆下线等步骤，每个步骤会细化成不同的业务流程。其次是需求调研，需求调研主要了解客户业务的痛点以及需要解决何事。有些客户内部已经有数据分析的场景，清晰知道自己想要落地的指标；有些客户则对业务模块的产出指标没有概念，不知道要做什么、能做什么。本次客户对自己的需求比较明确，要做的是生产域的分析体系建设，因此所有交付工作围绕生产模块开展，其他业务板块目前没有涉及。
再次是数据调研。数据调研上层系统围绕车间的活动进行， AOT 平台会采集车间的硬件设备信息，比如工位过点信息、设备告警、物理信息（温度等），数据会通过路由到车间生产系统并进行二次生产使用加工，帮助工厂工作人员管理和掌握车间生产状态。因此除了少量离线非结构化数据外，数据来源基本为以上两个数据系统。除了数据来源，还需调研出数据结构、更新方式、质量等。接着是指标需求的确认，参考业务流程、结果和总线矩阵，确定出可以产出的指标以及指标衍生维录，比如对于汽车生产流程下的各个工作步骤，可以产生一些指标。指标设计完成后做规范的定制。
规范定制首先是命名的规范。在模型设计之前需要约定好数仓各个层级的命名规范，一方面统一规范命名可以提高开发效率，见到名词即可知晓含义；另一方面可以避免重复开发，减少资源浪费。常见的表命名要结合所在数仓层级，涉及业务模块、业务过程动作及更新方式、时间周期等。下面是表命名的涉及和表命名规范的示例。第二是更新的规范。更新分为全量更新和增量更新。一般来说离线计算采用的是每天新增一个分区，将当天更新的数据携入该分区中，考虑到客户的资源较紧张，数据量也较大，因此决定采用增量更新写入的方式；再在下游用全量合并成当天全量表，以此方式存储。这样可以节省存储资源，也可减少数据同步的时间。第三是度量标准，为指标设置一定度量，避免因为度量体系不一致导致后续的数据质量问题，为使用者带来困扰。本次项目中也会涉及到实体和度量的关系。
接下来是模型设计层面。首先是层级的设计，分为 ODS 、 DWD 、DWS 、 ABS ，其中定层 DWD 、 DWS 也可统一称为 CDM 层，每一层的定位和用途各不相同。首先是数据引用 ODS 层，存放的是未经处理的原始数据，结构上与原系统结构一致，是数据仓库的数据准备区，主要任务是将基础数据引入到数据引擎 My someput ，同时记录基础数据的历史变化。 ODS 层本次接入了上千张表，分别源于 LT 系统和生产系统，有少量来源于离线文件，同时在传控的 ODS 分层内划分了两层，最底层为初始化全量，每天增量更新在天元层，在下面一层是全量清晰合并，分出每天的全量数据。第二块是数据共用层 CDM ，包括 deem 维度表、 DWD 和 DWS ，由 ODS 数据加工而成，主要完成数据的加工和整合，建立维度，构建可以复用的面向分机和统计的明细实时表，以及汇总公共地度的指标。基于维度建模的理念，建立整个企业的一致性维度，降低数据计算口径和算法风险的不统一。公共维度表通常也被称为逻辑维度表，维度和逻辑表通常一一对应。在项目中一共呈现了十张维度表，按照不同的车间区分，分别是工人值班信息、车间空间信息、车体信息、能耗信息、质检缺陷信息、告警信息等。由于电池车间线体较特殊，线体之间相互独立，具有不同的生产功能，维度表在设计和使用时与其他车间有所不同。
接下来是 DWD 层，用过程作为建模的驱动，基于每个业务过程的特点，构建最细密度的明细层实施表。 DWD 层在某些情况下会被用来存放原始指标。本次项目中将最细粒度的明细数据存在本层，比如涉及到车辆产量指标，均依赖于车体在经过线体上各个工位过点的信息计算得来，因此设计了一张车辆过点信息明细表，记录了每个车间各个车体通过各个点路的明细记录。
接着是 DWS 层，以分析为主体对象作为建模的驱动，基于上层的应用和产品的指标需求，共建公共力度的汇总指标实施表，以宽表化手段物理化模型。此次并没有在 DWS 层进行大量宽表的设计，而是将原始指标和符合指标存在于 DWS 层，从 DWD 层引用明细数据计算结果，为下游的应用层宽表提供一些公共指标。最后是 ADS 层，也称集事层，存放数据产品的各个统计指标，根据 CDM 和 ODS 加工生成，将不同业务方使用的主题宽表存于此，由 DWS 公共层指标关联得来。由于使用人员设计的业务表不同，还对业务模块人员进行了不同的权限隔离。以上设计也是通过和 Zidworks 智能数据建模产品的合作落地的，截图和操作流程可参考电子书相关内容。总之，在设备建设过程中，与车间负责人调研了解到车间使用方式，最终沉淀了一百多个指标，按照车间线体工艺设备、车辆等十几种维度作为延申，做了五个以上引用及报表，在使用 Zidworks 智能数据建模产品中，也使数据建模步骤更加规范化、体系化，建模的对接工作不再依赖于散乱的，而是把每一步的产出都体现在产品上，可以看到每一个建模步骤都在平台上得以落实，这对于建模工作人员来说是十分友好的。在面对一些复杂的建模流程时，工作经验不丰富的工作人员会感到无从下手，靠产品的引导也可解决这一问题。
