《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(1) https://developer.aliyun.com/article/1229668?groupCode=dataphin
2. 设计即研发,保障数据模型与代码的一致性
1) 规范建模
原本数据模型需要用限定详细的文档记录设计,再依此进行代码研发。经过多轮变更后设计文档与实际代码可能已南辕北辙。Dataphin 通过规范化、模块化的低代码配置,在设计的同时生成代码,有效的保证了模型与代码的一致性,提升数据质量。
在《Dataphin 核心功能:规划》一文中,讲到过数据建设分为四层,分别为主题域模型,概念模型,逻辑模型和分析模型。前两个模型已在规划一文中介绍过,本篇将继续展开逻辑模型和分析模型的讲解。
这两层都是属于 Dataphin 的智能研发模块,也称规范建模或逻辑化研发。除此之外,Dataphin 也支持传统通用的 SQL,MapReduce,Shell,Python 等研发方式,本文将重点解释智能研发模块。
2) 依据使用场景为数据分层
在介绍智能研发的逻辑模型和分析模型之前,先简单说下另一种维度的数据分层。当前,在数据中台领域,通用的做法是根据数据的使用场景和生产方式,将数据分为:
• ODS(Operational Data Source),按照字面理解是操作数据来源,通常的
叫法是贴源数据层。ODS 是从业务应用系统中同步过来的数据,一般不对数据做任何清洗加工、镜像复制,但是会保留多个版本,因为业务应用的数据一直在更新变化,ODS 会保留部分中间过程版本数据。
• CDM(Common Data Model),公共数据模型层,数据的清洗加工,建模都在这一层进行,智能研发也主要在这一层。
• ADS/ADM(Application Data Summary),应用数据层,面向具体业务场
景的数据研发。
Dataphin 中,规划到研发的流程一般是,规划(板块划分->主题域建模->概念建模)->项目创建->ODS(数据上云/数据同步)->CDM(逻辑建模->分析建模)->ADS。
3) 逻辑模型
根据上一节的介绍,现在假设规划->项目创建->ODS 均已完成,接下来就进入了逻辑建模。
《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(3) https://developer.aliyun.com/article/1229662?groupCode=dataphin