带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系

2. 规划:高屋建瓴,总览企业数据体系


1) Dataphin 模型体系


数据中台是数据沉淀、建设、管理与使用的一整套体系。Dataphin的核心优势是在数据的建设与治理上,引入了阿里巴巴多年来数据中台建设沉淀出的建模方法论,可以帮助企业通过智能数据建设与治理,构建数据中台。

 

在这个方法论中,某一个完整独立的业务对应一个业务板块,数据建模是基于一个业务板块来进行的,分四层模型:

 

主题域模型:在数据中台,主题对应一个宏观的分析领域,比如销售分析就是分析“销售”这个主题,联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个(十个左右不等)主题域组成的主题域模型。


概念模型:在主题域的基础上,每个主题域内增加了实体以及实体之间的关系。


逻辑模型:在概念模型的基础上,增加每个实体的属性以及属性的约束。


业务分析模型:行业中重要的以及常用的分析方法与分析视角。在逻辑模型基础上,将业务分析问题转换为Dataphin特有的派生指标,并进一步提炼出原子指标和业务限定。


 

image.png

 

板块划分、主题域模型、概念模型从宏观整体层面规划整个企业的数据体系。

 

2) 划分业务板块


企业的规模有大有小,业务复杂度和跨度也不同,数据反映业务,所以每个企业的数据中台也是不同的。数据中台建设的第一步是做规划,规划的第一步是全盘梳理企业的业务架构,将业务划分为一个个独立业务,对应到Dataphin就是业务板块的划分。

 

image.png

 

业务板块的划分总原则是高内聚,低耦合。可以通过业务活动之间以及业务活动与业务对象之间的关系来厘定业务板块的边界:


存在上下游的关系或者有共同的业务对象的几个业务流程属于同一个业务板块。反之,如果两个业务流程之间不存在任何直接或者间接的上下游关系,也没有直接或者间接共同的业务对象,他们就不应当被放在同一个业务板块。


与业务活动相关的业务对象与业务活动同属一个板块


某些业务对象是企业级共用的,比如,公司的员工、行政地理区划(没错,这个也属于业务对象)等,可以冗余在每一个板块中。


3) 主题域建模


主题域建模,即在业务板块下进一步将业务划分为多个主题域。主题域的划分没有客观原则,主要根据数据模型师的行业经验与业务理解来划分。具体以零售行业为例来说明。

 

零售行业的主题域划分:

 

公共主题域:在所有业务流程中都会被引用的数据,如地理位置数据、企业的人员组织数据。


消费者主题域:该主题域主要是零售企业内用户(消费者)运营相关的业务活动数据。


商品主题域:商品的管理(类目管理、品牌管理等),商品结构管理(组货)等相关的业务活动数据。

 

其他还有商家主题域、流量主题域、交易主题域、履约主题域、服务主题域、交互主题域、营销主题域、内容主题域、供应链主题域等。

 

image.png


4) 概念建模


概念模型主要由业务实体以及实体关系来组成。


a) 业务实体


业务对象是参与业务的人或事物,在企业组织的业务模式确定时就存在的,偏静态的实体。根据复杂程度,业务对象可以分为:

 

普通对象,复杂的、有很多属性的对象。狭义上,业务对象就是普通对象。


枚举对象,简单的基础对象。如性别,其取值可以穷举(男/女/未知)。


虚拟对象,在业务定义中,没有任何属性的基础对象,如姓名。


层级对象,多个业务对象之间有上下级关系,这一组对象就是层级对象。

 

 

 

业务活动是一个或者多个业务对象在某个时间(段)为了达成某种目的所进行的活动或者是某种活动的结果。业务活动有以下几个关键要素(属性):

 

活动主体,活动的发起者,是一个业务对象。


可选的活动客体,活动的参与者,可能有多个,也是业务对象。


活动时间,可以是一个单点时刻,也可能是一个有开始和结束的时间段。


根据业务活动持续时间的长短,可以将业务活动细分为:

 

业务流程,持续一段时间,有明确生命周期的业务活动。


(业务)事件,发生在某一个时刻,持续时间极短(瞬间)。事件一般对应业务流程的一次状态变化。


业务快照,是一系列活动在某一个时刻点的状态和结果,比如库存、账户余额。


b) 实体关系


在实际业务中,业务实体并不是孤立存在的,他们之间有着各种各样的联系,Dataphin将这些联系定义为“实体关系”。有以下实体关系:

 

实体关系

说明

关联

1. 业务对象 A 是业务对象 B 的属性,则业务对象B关联了业务对象A,如:地址 是 客户 的属性之一,客户实体 关联了 地址实体

2. 业务对象 A 是业务活动 C 的参与者,则业务活动 C 关联了业务对象A,如:客户 是 销售 的参与者,销售实体 关联了 客户实体

继承

普通对象B 是 普通对象A 的一种,但是比普通对象A多一些独有的属性,则 普通对象B 继承了 普通对象A。 如:会员 本身也是 用户,除了用户的姓名,性别等属性外,会员 还独有会员等级等属性,会员 继承了用户。

层级

层级对象的多个对象间为层级关系

包含

业务活动A 有三个处理节点 B、C、D,每个节点对应一个业务事件,业务事件发生后,A的状态将发生变化。业务活动A 包含 业务事件 B、C、 D。 如:销售活动 包含 销售下单,销售付款,销售完结 等业务事件。

流转

业务活动A 有三个处理节点 B,C,D,每个节点对应一个业务事件,事件按照 B -> C -> D 的顺序发生,则 B、C、D之间为流转关系。

前后序

进入业务活动B 之前必须先完成 业务活动A,则A是B的前序活动,B是A的后序活动。 如:销售完成后,才可以退款退货(销退),则销售是销退的前序活动,销退是销售的后序活动。



相关文章
|
15天前
|
存储 分布式计算 Hadoop
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
Dataphin V4.4版本引入了多项核心升级,包括级联发布、元数据采集扩展、数据源指标上架、自定义属性管理等功能,大幅提升数据处理与资产管理效率。此外,还支持Hadoop集群管理、跨Schema数据读取、实时集成目标端支持Hudi及MaxCompute delta等技术,进一步优化用户体验。
308 3
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
|
1月前
|
人工智能 关系型数据库 MySQL
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
本文通过一个利用百炼大模型平台和Dataphin数据服务API构建一个客户360智能应用的案例,介绍如何使用Dataphin数据服务API在百炼平台创建一个自定义插件,用于智能应用的开发,提升企业智能化应用水平。
137 3
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
|
2月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
717 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
1月前
|
安全 Java 数据库连接
Dataphin的数据共享的应用场景和方案
不同的业务场景对数据访问和使用有着各自独特的需求,从简单的数据下载到复杂的跨系统集成,选择合适的数据共享与访问方式至关重要。本文旨在探讨几种常见的Dataphin上的数据共享与访问机制——包括数据复制、数据下载、视图创建、行级及列级权限控制、API数据服务以及JDBC连接等,并分析它们各自的适用场景、优势及限制,以帮助企业更好地根据自身需求做出合理的选择。
112 0
|
2月前
|
存储 人工智能 安全
数据治理:强化数据安全与隐私保护的基石
在当今这个数字化时代,数据已成为推动社会进步和企业发展的核心驱动力。从个人消费习惯到企业运营策略,从政府决策支持到科研创新突破,数据无处不在,其价值不言而喻。然而,随着数据量的爆炸性增长和流通范围的扩大,数据安全与隐私保护问题也日益凸显,成为制约数据价值最大化利用的重要瓶颈。因此,构建完善的数据治理体系,特别是强化数据安全与隐私保护,成为了时代发展的必然要求。
|
2月前
|
数据处理 调度
Dataphin功能Tips系列(26)-事实逻辑表配置数据延迟
零售行业中,订单数据是每天晚上由pos系统同步至数据中台,但门店人员经常会没有及时将订单信息录入pos,也许隔天或是隔几天才录入,这会导致指标的不准确性,数据中台的开发人员往往需要进行批量补历史分区的数据,这时怎么才能减轻开发人员的工作,让系统能够自动补前几天分区中的事实逻辑表中的数据呢?
|
2月前
|
人工智能 安全 大数据
CDGA|数据要素与数据安全:携手构建可信数据生态的深远探讨
数据要素与数据安全是数字经济时代不可分割的双生子。只有在保障数据安全的前提下,才能充分发挥数据要素的价值,推动数字经济持续健康发展。构建可信数据生态,需要政府、企业、社会组织及广大公众的共同努力,形成合力,共同应对挑战,共创数字经济的美好未来。
|
5月前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7878 10
如何在Dataphin中构建Flink+Paimon流式湖仓方案
|
5月前
|
SQL 运维 安全
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.2版本中,Dataphin敏捷版上线助力企业打造轻量版数据中台,打通数据资产管理和消费,陪伴企业迈入数据高价值应用新阶段。
2043 2
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
|
4月前
|
监控 安全 数据安全/隐私保护
确保数据安全与隐私保护的数据治理最佳实践
【8月更文第13天】随着数据成为企业最重要的资产之一,数据安全和隐私保护变得至关重要。本文将探讨数据治理中的一些最佳实践,并提供具体的代码示例来说明如何实施这些策略。
1025 4

热门文章

最新文章