带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系

2. 规划:高屋建瓴,总览企业数据体系


1) Dataphin 模型体系


数据中台是数据沉淀、建设、管理与使用的一整套体系。Dataphin的核心优势是在数据的建设与治理上,引入了阿里巴巴多年来数据中台建设沉淀出的建模方法论,可以帮助企业通过智能数据建设与治理,构建数据中台。

 

在这个方法论中,某一个完整独立的业务对应一个业务板块,数据建模是基于一个业务板块来进行的,分四层模型:

 

主题域模型:在数据中台,主题对应一个宏观的分析领域,比如销售分析就是分析“销售”这个主题,联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个(十个左右不等)主题域组成的主题域模型。


概念模型:在主题域的基础上,每个主题域内增加了实体以及实体之间的关系。


逻辑模型:在概念模型的基础上,增加每个实体的属性以及属性的约束。


业务分析模型:行业中重要的以及常用的分析方法与分析视角。在逻辑模型基础上,将业务分析问题转换为Dataphin特有的派生指标,并进一步提炼出原子指标和业务限定。


 

image.png

 

板块划分、主题域模型、概念模型从宏观整体层面规划整个企业的数据体系。

 

2) 划分业务板块


企业的规模有大有小,业务复杂度和跨度也不同,数据反映业务,所以每个企业的数据中台也是不同的。数据中台建设的第一步是做规划,规划的第一步是全盘梳理企业的业务架构,将业务划分为一个个独立业务,对应到Dataphin就是业务板块的划分。

 

image.png

 

业务板块的划分总原则是高内聚,低耦合。可以通过业务活动之间以及业务活动与业务对象之间的关系来厘定业务板块的边界:


存在上下游的关系或者有共同的业务对象的几个业务流程属于同一个业务板块。反之,如果两个业务流程之间不存在任何直接或者间接的上下游关系,也没有直接或者间接共同的业务对象,他们就不应当被放在同一个业务板块。


与业务活动相关的业务对象与业务活动同属一个板块


某些业务对象是企业级共用的,比如,公司的员工、行政地理区划(没错,这个也属于业务对象)等,可以冗余在每一个板块中。


3) 主题域建模


主题域建模,即在业务板块下进一步将业务划分为多个主题域。主题域的划分没有客观原则,主要根据数据模型师的行业经验与业务理解来划分。具体以零售行业为例来说明。

 

零售行业的主题域划分:

 

公共主题域:在所有业务流程中都会被引用的数据,如地理位置数据、企业的人员组织数据。


消费者主题域:该主题域主要是零售企业内用户(消费者)运营相关的业务活动数据。


商品主题域:商品的管理(类目管理、品牌管理等),商品结构管理(组货)等相关的业务活动数据。

 

其他还有商家主题域、流量主题域、交易主题域、履约主题域、服务主题域、交互主题域、营销主题域、内容主题域、供应链主题域等。

 

image.png


4) 概念建模


概念模型主要由业务实体以及实体关系来组成。


a) 业务实体


业务对象是参与业务的人或事物,在企业组织的业务模式确定时就存在的,偏静态的实体。根据复杂程度,业务对象可以分为:

 

普通对象,复杂的、有很多属性的对象。狭义上,业务对象就是普通对象。


枚举对象,简单的基础对象。如性别,其取值可以穷举(男/女/未知)。


虚拟对象,在业务定义中,没有任何属性的基础对象,如姓名。


层级对象,多个业务对象之间有上下级关系,这一组对象就是层级对象。

 

 

 

业务活动是一个或者多个业务对象在某个时间(段)为了达成某种目的所进行的活动或者是某种活动的结果。业务活动有以下几个关键要素(属性):

 

活动主体,活动的发起者,是一个业务对象。


可选的活动客体,活动的参与者,可能有多个,也是业务对象。


活动时间,可以是一个单点时刻,也可能是一个有开始和结束的时间段。


根据业务活动持续时间的长短,可以将业务活动细分为:

 

业务流程,持续一段时间,有明确生命周期的业务活动。


(业务)事件,发生在某一个时刻,持续时间极短(瞬间)。事件一般对应业务流程的一次状态变化。


业务快照,是一系列活动在某一个时刻点的状态和结果,比如库存、账户余额。


b) 实体关系


在实际业务中,业务实体并不是孤立存在的,他们之间有着各种各样的联系,Dataphin将这些联系定义为“实体关系”。有以下实体关系:

 

实体关系

说明

关联

1. 业务对象 A 是业务对象 B 的属性,则业务对象B关联了业务对象A,如:地址 是 客户 的属性之一,客户实体 关联了 地址实体

2. 业务对象 A 是业务活动 C 的参与者,则业务活动 C 关联了业务对象A,如:客户 是 销售 的参与者,销售实体 关联了 客户实体

继承

普通对象B 是 普通对象A 的一种,但是比普通对象A多一些独有的属性,则 普通对象B 继承了 普通对象A。 如:会员 本身也是 用户,除了用户的姓名,性别等属性外,会员 还独有会员等级等属性,会员 继承了用户。

层级

层级对象的多个对象间为层级关系

包含

业务活动A 有三个处理节点 B、C、D,每个节点对应一个业务事件,业务事件发生后,A的状态将发生变化。业务活动A 包含 业务事件 B、C、 D。 如:销售活动 包含 销售下单,销售付款,销售完结 等业务事件。

流转

业务活动A 有三个处理节点 B,C,D,每个节点对应一个业务事件,事件按照 B -> C -> D 的顺序发生,则 B、C、D之间为流转关系。

前后序

进入业务活动B 之前必须先完成 业务活动A,则A是B的前序活动,B是A的后序活动。 如:销售完成后,才可以退款退货(销退),则销售是销退的前序活动,销退是销售的后序活动。



相关文章
|
3月前
|
SQL 安全 数据建模
Dataphin常见问题之计算任务没有按调度执行如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
数据挖掘 数据建模 BI
Dataphin常见问题之衍生指标的计算逻辑需要写where和group条件如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
存储 数据采集 安全
瓴羊Dataphin数据安全能力再升级,内置分类分级模板、上线隐私计算模块
瓴羊Dataphin数据安全能力再升级,内置分类分级模板、上线隐私计算模块
165 0
|
1月前
|
安全 Java Apache
Java中的数据安全与隐私保护技术
Java中的数据安全与隐私保护技术
|
11天前
|
消息中间件 Kafka
|
21天前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7278 1
如何在Dataphin中构建Flink+Paimon流式湖仓方案
|
4天前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
18 1
|
17天前
|
存储 安全 数据库
双重防护,无懈可击!Python AES+RSA加密方案,构建最强数据安全堡垒
【8月更文挑战第3天】在数字时代,数据安全至关重要。Python AES+RSA加密方案提供了一种强大且可靠的数据保护方式。AES以高效安全著称,适用于大量数据的快速加密;RSA作为非对称加密技术,确保了密钥传输的安全性。二者结合形成“内外兼修”的加密策略:AES加密数据内容,RSA保护AES密钥,共同构建起数据安全的双重保险。通过示例代码展示了这一加密流程,强调了加密后密钥与密文的安全传输和存储的重要性。在实际应用中,应采用HTTPS等安全协议进行传输,并将数据安全存储于加密的数据库或文件系统中。
44 12
|
2月前
|
存储 SQL 多模数据库
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
Lindorm通过与Dataphin的深度整合,进一步解决了数据集成和数据治理的问题,为企业提供更加高效和更具性价比的方案。
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
|
1月前
|
监控 数据可视化 BI
基于Dataphin+Flink构建期货交易监察实时应用
新一代证券交易监察系统利用大数据和实时计算技术强化风险控制、交易数据处理、识别异常交易等能力。通过Dataphin与Flink结合,构建期货交易监察实时数据应用;借助QuickBI用于打造实时看板和预警体系,实现期货交易监察的实时可视化分析和自动化预警。
221 0