DAMA数据管理知识体系指南(4):数据架构

简介: DAMA:国际数据管理协会,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,是当前国际上在数据治理领域最权威的机构。 DMBOK2则是DAMA组织众多数据管理领域的国际级资深专家编著,深入阐述数据管理各领域的完整知识体系。它是市场上唯一综合了数据管理方方面面的一部权威性著作。 本系列文章,将针对DMBOK中的核心内容进行解读。

一、数据架构语境关系图

41.png

企业架构包括多种不同类型,如包括业务架构、数据架构、应用架构和技术架构等。其中数

据架构的主要目标是有效地管理数据,以及有效地管理存储和使用数据的系统

数据架构是数据管理的基础。由于大多数组织拥有的数据超出了个人可以理解的范围,因此有必要在不同抽象层级上描述组织的数据,以便更好地了解数据,帮助管理层做出决策。

最为详细的数据架构设计文件是正式的企业数据模型,包含数据名称、数据属性和元数据定义、概念和逻辑实体、关系以及业务规则

本章节中,将从以下几个方面考虑数据架构:

1)数据架构成果,包括不同层级的模型、定义、数据流,这些通常被称为数据架构的构件。

2)数据架构活动,用于形成、部署和实现数据架构的目标

3)数据架构行为,包括影响企业数据架构的不同角色之间的协作、思维方式和技能。

二、业务驱动因素

数据架构常见的业务驱动因素如下:

1)利用新兴技术所带来的业务优势,从战略上帮助组织快速改变产品、服务和数据。

2)将业务需求转换为数据和应用需求,以确保能够为业务流程处理提供有效数据。

3)管理复杂数据和信息,并传递至整个企业。

4)确保业务和IT技术保持一致。

5)为企业改革、转型和提高适应性提供支撑

数据架构的主要成果包括:

1)数据存储和处理需求。

2)设计满足企业当前和长期数据需求的结构和规划。


三、企业数据架构

企业数据架构包括企业数据模型和数据流两部分,详情如下。

1、企业数据模型

企业数据模型:组织对企业内数据实体、数据属性和它们之间关系的理解。各层级模型(概念模型、逻辑模型、物理模型)是企业数据模型的组成部分。模型链接定义和管理了模型的横向(关联)和纵向(层级)关系。

常见的企业数据模型建设方法:自上而下、自下而上或者混合模式:

自上而下是从主题域开始,先设计主题,再逐步设计下层模型。而采用自下而上的方法时,主题域结构则是基于现有逻辑数据模型向上提炼抽象而成。通常推荐两种方法相结合,即自下而上地从分析现有模型开始,自上而下地设计主题模型,通过两种方法的结合来共同完成企业数据模型的设计工作

企业数据模型概念图:

42.png

主题域模型概念图:

43.png

2、数据流

数据流:记录数据血缘的数据加工过程,可以通过二维矩阵、数据流图呈现。

2.1、二维矩阵数据流概念图

44.png

2.2、数据流概念图

45.png


四、度量指标

常用的企业数据架构衡量指标:架构接受度、实施趋势、业务价值。数据架构衡量工作通常作为项目总体业务客户满意度的一部分,每年开展一次

(1)架构标准接受率 。测量项目与已建立的数据架构的紧密程度,项目与企业架构参与流程的遵循度。

(2)实施趋势。对跟踪企业架构改善组织实施项目能力的程度,至少沿两个方向进行改善:

1)使用/重用/代替/废弃测量。决定使用新架构构件与重用、代替或废弃构件的比例。

2)项目执行效率测量。测量项目的交付时间和可重用构件及指导构件的交付改进成本。

(3)业务价值度量指标 。追踪向期待的业务效果和利益方向的发展过程:

1)业务敏捷性改进。解释生命周期改进或改变的好处,改进延误成本的测量方法。

2)业务质量。测量业务案例是否按期完成;基于新创建或集成的数据导致业务发生的改变,测量项目是否实际交付了这些变更。

3)业务操作质量。测量改进效率的方法。实例包括准确性改进、时间减少,由于数据错误而导致的纠错费。

4)业务环境改进。实例包括由于数据错误减少而改变的客户保留率和在递交报告中当局评论的减少率。


五、关键概念/工具/方法

1、企业架构之间的关系

企业架构包括多种不同类型,如包括业务架构、数据架构、应用架构和技术架构等。每个架构都不是孤立存在的,要么对其他架构产生影响,要么受制于其他架构。

46.png

2、企业架构框架——Zachman框架

在建筑、飞机、企业、价值链、项目或系统中,有许多利益相关方,且各方对架构都持有一个不同的观点。这些概念可以应用到一个企业的不同架构类型和层次需求中。

Zachman模型可以完整地描述一个企业以及相互之间的关系。它并不定义如何创建模型,只是显示哪些模型应该存在。

47.png

矩阵框架的两个维度为:问询沟通(如是什么、怎样做、在哪里、是谁、什么时间和为什么)在列中显示,重新定义转换(如识别、定义、描述、规范、配置和实例)在行中显示。框架分类按照单元格呈现(问询和转换之间的交叉)。框架的每个单元格代表一个独特的设计组件。

在问询沟通时,可以询问关于任何一个实体的基本问题,将其转换成企业架构,每个列可以按照如下理解:

1)什么(What)。目录列,表示构建架构的实体。

2)怎样(How)。流程列,表示执行的活动。

3)在哪里(Where)。分布列,表示业务位置和技术位置。

4)谁(Who)。职责列,表示角色和组织。

5)什么时间(When)。时间列,表示间隔、事件、周期和时间表。

6)为什么(Why)。动机列,表示目标、策略和手段。

重新定义转换是将抽象的概念转变为具体的实例(实例化)的必经步骤。矩阵中的每一行代表不同的角色,具体的角色包括规划者、所有者、设计师、建造者、实施者和用户。每个角色对整个过程和不同问题的解决均持有不同的视角。这些不同的视角对应的内容在每行中进行显示。例如,每个视角与“什么”列(目录或数据)均有交叉,说明相互之间具有不同关联关系。具体说明如下:

1)高管视角(业务背景)。定义不同模型范围的业务元素目录。

2)业务管理视角(业务概念)。明确管理层在定义的业务模型中所涉及的不同业务概念之间的关系。

3)架构师视角(业务逻辑)。作为模型设计的架构师细化系统需求,设计系统逻辑模型。

4)工程师视角(业务实体)。作为具体模型建造者的工程师,在特定技术、人员、成本和时间限制内,优化和实施为具体应用设计的物理模型。

5)技术人员视角(组件程序集)。采用特定技术、脱离上下文语境的视角,来解释配置模型的技术人员如何使用、组装和实施配置组件。

6)用户视角(操作类)。参与人员所使用的实际功能实例。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
相关文章
|
5月前
|
数据采集 存储 安全
数据治理≠数据管理!90%的企业都搞错了重点!
在数字化转型中,数据不一致、质量差、安全隐患等问题困扰企业。许多组织跳过基础的数据管理,直接进行数据治理,导致方案难以落地。数据管理涵盖数据生命周期中的采集、存储、处理等关键环节,决定了数据是否可用、可靠。本文详解数据管理的四大核心模块——数据质量、元数据、主数据与数据安全,并提供构建数据管理体系的四个阶段:评估现状、确定优先级、建立基础能力与持续改进,助力企业夯实数据基础,推动治理落地。
|
7月前
|
存储 BI Shell
Doris基础-架构、数据模型、数据划分
Apache Doris 是一款高性能、实时分析型数据库,基于MPP架构,支持高并发查询与复杂分析。其前身是百度的Palo项目,现为Apache顶级项目。Doris适用于报表分析、数据仓库构建、日志检索等场景,具备存算一体与存算分离两种架构,灵活适应不同业务需求。它提供主键、明细和聚合三种数据模型,便于高效处理更新、存储与统计汇总操作,广泛应用于大数据分析领域。
739 2
|
7月前
|
SQL 缓存 前端开发
如何开发进销存系统中的基础数据板块?(附架构图+流程图+代码参考)
进销存系统是企业管理采购、销售与库存的核心工具,能有效提升运营效率。其中,“基础数据板块”作为系统基石,决定了后续业务的准确性与扩展性。本文详解产品与仓库模块的设计实现,涵盖功能概述、表结构设计、前后端代码示例及数据流架构,助力企业构建高效稳定的数字化管理体系。
|
9月前
|
存储 数据管理 数据格式
数据治理 vs. 数据管理:别再傻傻分不清!
数据治理 vs. 数据管理:别再傻傻分不清!
481 10
|
6月前
|
数据采集 缓存 前端开发
如何开发门店业绩上报管理系统中的商品数据板块?(附架构图+流程图+代码参考)
本文深入讲解门店业绩上报系统中商品数据板块的设计与实现,涵盖商品类别、信息、档案等内容,详细阐述技术架构、业务流程、数据库设计及开发技巧,并提供完整代码示例,助力企业构建稳定、可扩展的商品数据系统。
|
5月前
|
数据采集 机器学习/深度学习 搜索推荐
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
MIT与丰田研究院研究发现,扩散模型的“局部性”并非源于网络架构的精巧设计,而是自然图像统计规律的产物。通过线性模型仅学习像素相关性,即可复现U-Net般的局部敏感模式,揭示数据本身蕴含生成“魔法”。
246 3
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
|
5月前
|
数据采集 存储 SQL
数据管理四部曲:元数据管理、数据整合、数据治理、数据质量管控
老张带你搞定企业数据管理难题!数据找不到、看不懂、用不好?关键在于打好元数据管理、数据整合、数据治理和数据质量管控四大基础。四部曲环环相扣,助你打通数据孤岛,提升数据价值,实现精准决策与业务增长。
数据管理四部曲:元数据管理、数据整合、数据治理、数据质量管控
|
5月前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
6月前
|
数据采集 监控 数据可视化
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
本案例讲述了在豆瓣电影数据采集过程中,面对数据量激增和限制机制带来的挑战,如何通过引入爬虫代理、分布式架构与异步IO等技术手段,实现采集系统的优化与扩展,最终支撑起百万级请求的稳定抓取。
367 0
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研

热门文章

最新文章