带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系

2. 规划:高屋建瓴,总览企业数据体系


1) Dataphin 模型体系


数据中台是数据沉淀、建设、管理与使用的一整套体系。Dataphin的核心优势是在数据的建设与治理上,引入了阿里巴巴多年来数据中台建设沉淀出的建模方法论,可以帮助企业通过智能数据建设与治理,构建数据中台。

 

在这个方法论中,某一个完整独立的业务对应一个业务板块,数据建模是基于一个业务板块来进行的,分四层模型:

 

主题域模型:在数据中台,主题对应一个宏观的分析领域,比如销售分析就是分析“销售”这个主题,联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个(十个左右不等)主题域组成的主题域模型。


概念模型:在主题域的基础上,每个主题域内增加了实体以及实体之间的关系。


逻辑模型:在概念模型的基础上,增加每个实体的属性以及属性的约束。


业务分析模型:行业中重要的以及常用的分析方法与分析视角。在逻辑模型基础上,将业务分析问题转换为Dataphin特有的派生指标,并进一步提炼出原子指标和业务限定。


 

image.png

 

板块划分、主题域模型、概念模型从宏观整体层面规划整个企业的数据体系。

 

2) 划分业务板块


企业的规模有大有小,业务复杂度和跨度也不同,数据反映业务,所以每个企业的数据中台也是不同的。数据中台建设的第一步是做规划,规划的第一步是全盘梳理企业的业务架构,将业务划分为一个个独立业务,对应到Dataphin就是业务板块的划分。

 

image.png

 

业务板块的划分总原则是高内聚,低耦合。可以通过业务活动之间以及业务活动与业务对象之间的关系来厘定业务板块的边界:


存在上下游的关系或者有共同的业务对象的几个业务流程属于同一个业务板块。反之,如果两个业务流程之间不存在任何直接或者间接的上下游关系,也没有直接或者间接共同的业务对象,他们就不应当被放在同一个业务板块。


与业务活动相关的业务对象与业务活动同属一个板块


某些业务对象是企业级共用的,比如,公司的员工、行政地理区划(没错,这个也属于业务对象)等,可以冗余在每一个板块中。


3) 主题域建模


主题域建模,即在业务板块下进一步将业务划分为多个主题域。主题域的划分没有客观原则,主要根据数据模型师的行业经验与业务理解来划分。具体以零售行业为例来说明。

 

零售行业的主题域划分:

 

公共主题域:在所有业务流程中都会被引用的数据,如地理位置数据、企业的人员组织数据。


消费者主题域:该主题域主要是零售企业内用户(消费者)运营相关的业务活动数据。


商品主题域:商品的管理(类目管理、品牌管理等),商品结构管理(组货)等相关的业务活动数据。

 

其他还有商家主题域、流量主题域、交易主题域、履约主题域、服务主题域、交互主题域、营销主题域、内容主题域、供应链主题域等。

 

image.png


4) 概念建模


概念模型主要由业务实体以及实体关系来组成。


a) 业务实体


业务对象是参与业务的人或事物,在企业组织的业务模式确定时就存在的,偏静态的实体。根据复杂程度,业务对象可以分为:

 

普通对象,复杂的、有很多属性的对象。狭义上,业务对象就是普通对象。


枚举对象,简单的基础对象。如性别,其取值可以穷举(男/女/未知)。


虚拟对象,在业务定义中,没有任何属性的基础对象,如姓名。


层级对象,多个业务对象之间有上下级关系,这一组对象就是层级对象。

 

 

 

业务活动是一个或者多个业务对象在某个时间(段)为了达成某种目的所进行的活动或者是某种活动的结果。业务活动有以下几个关键要素(属性):

 

活动主体,活动的发起者,是一个业务对象。


可选的活动客体,活动的参与者,可能有多个,也是业务对象。


活动时间,可以是一个单点时刻,也可能是一个有开始和结束的时间段。


根据业务活动持续时间的长短,可以将业务活动细分为:

 

业务流程,持续一段时间,有明确生命周期的业务活动。


(业务)事件,发生在某一个时刻,持续时间极短(瞬间)。事件一般对应业务流程的一次状态变化。


业务快照,是一系列活动在某一个时刻点的状态和结果,比如库存、账户余额。


b) 实体关系


在实际业务中,业务实体并不是孤立存在的,他们之间有着各种各样的联系,Dataphin将这些联系定义为“实体关系”。有以下实体关系:

 

实体关系

说明

关联

1. 业务对象 A 是业务对象 B 的属性,则业务对象B关联了业务对象A,如:地址 是 客户 的属性之一,客户实体 关联了 地址实体

2. 业务对象 A 是业务活动 C 的参与者,则业务活动 C 关联了业务对象A,如:客户 是 销售 的参与者,销售实体 关联了 客户实体

继承

普通对象B 是 普通对象A 的一种,但是比普通对象A多一些独有的属性,则 普通对象B 继承了 普通对象A。 如:会员 本身也是 用户,除了用户的姓名,性别等属性外,会员 还独有会员等级等属性,会员 继承了用户。

层级

层级对象的多个对象间为层级关系

包含

业务活动A 有三个处理节点 B、C、D,每个节点对应一个业务事件,业务事件发生后,A的状态将发生变化。业务活动A 包含 业务事件 B、C、 D。 如:销售活动 包含 销售下单,销售付款,销售完结 等业务事件。

流转

业务活动A 有三个处理节点 B,C,D,每个节点对应一个业务事件,事件按照 B -> C -> D 的顺序发生,则 B、C、D之间为流转关系。

前后序

进入业务活动B 之前必须先完成 业务活动A,则A是B的前序活动,B是A的后序活动。 如:销售完成后,才可以退款退货(销退),则销售是销退的前序活动,销退是销售的后序活动。



相关文章
|
10月前
|
存储 安全 数据管理
数据安全之认识数据资产管理平台
随着企业数字化转型的深入,数据已经成为企业的重要资产。企业需要更加有效地管理和利用数据,以支持业务决策、优化运营和提高竞争力。本文让我们一起来认识数据资产及数据资产管理平台。
572 1
|
10月前
|
SQL 安全 数据建模
Dataphin常见问题之计算任务没有按调度执行如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
10月前
|
数据挖掘 数据建模 BI
Dataphin常见问题之衍生指标的计算逻辑需要写where和group条件如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
2月前
|
存储 安全 Cloud Native
从数据风险出发的云上数据安全最佳实践
本文介绍了从数据风险出发的云上数据安全最佳实践,涵盖数据泄露现状及原因分析,以及基于云的安全机制。文章详细探讨了以云为基础实现数据全链路可视可控的方法,包括资产可见可控、数据安全中心、治理闭环和自动化智能化的数据安全治理能力。通过云原生方案,企业可以更高效地识别、预警和处置数据风险,确保数据安全。文中还提到多项免费工具和服务,帮助企业降低数据泄露风险并减少安全投入。
113 60
|
3月前
|
数据采集 安全 大数据
“点数成金”时代,如何应用全域数据资产治理释放企业数据价值?【瓴羊Dataphin在信通院2024数据资产管理大会】
在“点数成金”时代,企业数据成为宝贵资产。12月18-19日,信通院“2024数据资产管理大会”在京举办,瓴羊政企金融事业部总监徐宁分享了Dataphin在数据治理领域的创新方法论与实践经验,强调数据资产双循环和元数据管理的重要性。瓴羊副总裁王赛获颁数据资产管理专家证书。
119 16
|
3月前
|
存储 分布式计算 Hadoop
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
Dataphin V4.4版本引入了多项核心升级,包括级联发布、元数据采集扩展、数据源指标上架、自定义属性管理等功能,大幅提升数据处理与资产管理效率。此外,还支持Hadoop集群管理、跨Schema数据读取、实时集成目标端支持Hudi及MaxCompute delta等技术,进一步优化用户体验。
513 3
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
|
8月前
|
安全 Java Apache
Java中的数据安全与隐私保护技术
Java中的数据安全与隐私保护技术
|
5月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
1074 4
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
5月前
|
存储 人工智能 安全
数据治理:强化数据安全与隐私保护的基石
在当今这个数字化时代,数据已成为推动社会进步和企业发展的核心驱动力。从个人消费习惯到企业运营策略,从政府决策支持到科研创新突破,数据无处不在,其价值不言而喻。然而,随着数据量的爆炸性增长和流通范围的扩大,数据安全与隐私保护问题也日益凸显,成为制约数据价值最大化利用的重要瓶颈。因此,构建完善的数据治理体系,特别是强化数据安全与隐私保护,成为了时代发展的必然要求。
|
5月前
|
人工智能 安全 大数据
CDGA|数据要素与数据安全:携手构建可信数据生态的深远探讨
数据要素与数据安全是数字经济时代不可分割的双生子。只有在保障数据安全的前提下,才能充分发挥数据要素的价值,推动数字经济持续健康发展。构建可信数据生态,需要政府、企业、社会组织及广大公众的共同努力,形成合力,共同应对挑战,共创数字经济的美好未来。

热门文章

最新文章