DAMA数据管理知识体系指南(4):数据架构

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: DAMA:国际数据管理协会,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,是当前国际上在数据治理领域最权威的机构。 DMBOK2则是DAMA组织众多数据管理领域的国际级资深专家编著,深入阐述数据管理各领域的完整知识体系。它是市场上唯一综合了数据管理方方面面的一部权威性著作。 本系列文章,将针对DMBOK中的核心内容进行解读。

一、数据架构语境关系图

41.png

企业架构包括多种不同类型,如包括业务架构、数据架构、应用架构和技术架构等。其中数

据架构的主要目标是有效地管理数据,以及有效地管理存储和使用数据的系统

数据架构是数据管理的基础。由于大多数组织拥有的数据超出了个人可以理解的范围,因此有必要在不同抽象层级上描述组织的数据,以便更好地了解数据,帮助管理层做出决策。

最为详细的数据架构设计文件是正式的企业数据模型,包含数据名称、数据属性和元数据定义、概念和逻辑实体、关系以及业务规则

本章节中,将从以下几个方面考虑数据架构:

1)数据架构成果,包括不同层级的模型、定义、数据流,这些通常被称为数据架构的构件。

2)数据架构活动,用于形成、部署和实现数据架构的目标

3)数据架构行为,包括影响企业数据架构的不同角色之间的协作、思维方式和技能。

二、业务驱动因素

数据架构常见的业务驱动因素如下:

1)利用新兴技术所带来的业务优势,从战略上帮助组织快速改变产品、服务和数据。

2)将业务需求转换为数据和应用需求,以确保能够为业务流程处理提供有效数据。

3)管理复杂数据和信息,并传递至整个企业。

4)确保业务和IT技术保持一致。

5)为企业改革、转型和提高适应性提供支撑

数据架构的主要成果包括:

1)数据存储和处理需求。

2)设计满足企业当前和长期数据需求的结构和规划。


三、企业数据架构

企业数据架构包括企业数据模型和数据流两部分,详情如下。

1、企业数据模型

企业数据模型:组织对企业内数据实体、数据属性和它们之间关系的理解。各层级模型(概念模型、逻辑模型、物理模型)是企业数据模型的组成部分。模型链接定义和管理了模型的横向(关联)和纵向(层级)关系。

常见的企业数据模型建设方法:自上而下、自下而上或者混合模式:

自上而下是从主题域开始,先设计主题,再逐步设计下层模型。而采用自下而上的方法时,主题域结构则是基于现有逻辑数据模型向上提炼抽象而成。通常推荐两种方法相结合,即自下而上地从分析现有模型开始,自上而下地设计主题模型,通过两种方法的结合来共同完成企业数据模型的设计工作

企业数据模型概念图:

42.png

主题域模型概念图:

43.png

2、数据流

数据流:记录数据血缘的数据加工过程,可以通过二维矩阵、数据流图呈现。

2.1、二维矩阵数据流概念图

44.png

2.2、数据流概念图

45.png


四、度量指标

常用的企业数据架构衡量指标:架构接受度、实施趋势、业务价值。数据架构衡量工作通常作为项目总体业务客户满意度的一部分,每年开展一次

(1)架构标准接受率 。测量项目与已建立的数据架构的紧密程度,项目与企业架构参与流程的遵循度。

(2)实施趋势。对跟踪企业架构改善组织实施项目能力的程度,至少沿两个方向进行改善:

1)使用/重用/代替/废弃测量。决定使用新架构构件与重用、代替或废弃构件的比例。

2)项目执行效率测量。测量项目的交付时间和可重用构件及指导构件的交付改进成本。

(3)业务价值度量指标 。追踪向期待的业务效果和利益方向的发展过程:

1)业务敏捷性改进。解释生命周期改进或改变的好处,改进延误成本的测量方法。

2)业务质量。测量业务案例是否按期完成;基于新创建或集成的数据导致业务发生的改变,测量项目是否实际交付了这些变更。

3)业务操作质量。测量改进效率的方法。实例包括准确性改进、时间减少,由于数据错误而导致的纠错费。

4)业务环境改进。实例包括由于数据错误减少而改变的客户保留率和在递交报告中当局评论的减少率。


五、关键概念/工具/方法

1、企业架构之间的关系

企业架构包括多种不同类型,如包括业务架构、数据架构、应用架构和技术架构等。每个架构都不是孤立存在的,要么对其他架构产生影响,要么受制于其他架构。

46.png

2、企业架构框架——Zachman框架

在建筑、飞机、企业、价值链、项目或系统中,有许多利益相关方,且各方对架构都持有一个不同的观点。这些概念可以应用到一个企业的不同架构类型和层次需求中。

Zachman模型可以完整地描述一个企业以及相互之间的关系。它并不定义如何创建模型,只是显示哪些模型应该存在。

47.png

矩阵框架的两个维度为:问询沟通(如是什么、怎样做、在哪里、是谁、什么时间和为什么)在列中显示,重新定义转换(如识别、定义、描述、规范、配置和实例)在行中显示。框架分类按照单元格呈现(问询和转换之间的交叉)。框架的每个单元格代表一个独特的设计组件。

在问询沟通时,可以询问关于任何一个实体的基本问题,将其转换成企业架构,每个列可以按照如下理解:

1)什么(What)。目录列,表示构建架构的实体。

2)怎样(How)。流程列,表示执行的活动。

3)在哪里(Where)。分布列,表示业务位置和技术位置。

4)谁(Who)。职责列,表示角色和组织。

5)什么时间(When)。时间列,表示间隔、事件、周期和时间表。

6)为什么(Why)。动机列,表示目标、策略和手段。

重新定义转换是将抽象的概念转变为具体的实例(实例化)的必经步骤。矩阵中的每一行代表不同的角色,具体的角色包括规划者、所有者、设计师、建造者、实施者和用户。每个角色对整个过程和不同问题的解决均持有不同的视角。这些不同的视角对应的内容在每行中进行显示。例如,每个视角与“什么”列(目录或数据)均有交叉,说明相互之间具有不同关联关系。具体说明如下:

1)高管视角(业务背景)。定义不同模型范围的业务元素目录。

2)业务管理视角(业务概念)。明确管理层在定义的业务模型中所涉及的不同业务概念之间的关系。

3)架构师视角(业务逻辑)。作为模型设计的架构师细化系统需求,设计系统逻辑模型。

4)工程师视角(业务实体)。作为具体模型建造者的工程师,在特定技术、人员、成本和时间限制内,优化和实施为具体应用设计的物理模型。

5)技术人员视角(组件程序集)。采用特定技术、脱离上下文语境的视角,来解释配置模型的技术人员如何使用、组装和实施配置组件。

6)用户视角(操作类)。参与人员所使用的实际功能实例。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
2月前
|
机器学习/深度学习 数据采集 人工智能
揭秘!47页文档拆解苹果智能,从架构、数据到训练和优化
【8月更文挑战第23天】苹果公司发布了一份47页的研究文档,深入解析了其在智能基础语言模型领域的探索与突破。文档揭示了苹果在此领域的雄厚实力,并分享了其独特的混合架构设计,该设计融合了Transformer与RNN的优势,显著提高了模型处理序列数据的效能与表现力。然而,这种架构也带来了诸如权重平衡与资源消耗等挑战。苹果利用海量、多样的高质量数据集训练模型,但确保数据质量及处理噪声仍需克服。此外,苹果采取了自监督与无监督学习相结合的高效训练策略,以增强模型的泛化与稳健性,但仍需解决预训练任务选择及超参数调优等问题。
140 66
|
2月前
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
86 1
|
4天前
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
|
16天前
|
数据采集 安全 数据管理
通信行业数据治理:如何实现高效、安全的数据管理?
在未来的发展中,通信行业的企业应加强数据治理意识,提高数据治理能力;同时,积极开展跨行业的合作创新,共同推动行业的繁荣与发展。相信在不久的将来,通信行业将迎来更加美好的明天。
|
16天前
|
存储 大数据 数据处理
洞察未来:数据治理中的数据架构新思维
数据治理中的数据架构新思维对于应对未来挑战、提高数据处理效率、加强数据安全与隐私保护以及促进数据驱动的业务创新具有重要意义。企业需要紧跟时代步伐,不断探索和实践新型数据架构,以洞察未来发展趋势,为企业的长远发展奠定坚实基础。
|
1月前
|
存储 搜索推荐 数据库
MarkLogic在微服务架构中的应用:提供服务间通信和数据共享的机制
随着微服务架构的发展,服务间通信和数据共享成为关键挑战。本文介绍MarkLogic数据库在微服务架构中的应用,阐述其多模型支持、索引搜索、事务处理及高可用性等优势,以及如何利用MarkLogic实现数据共享、服务间通信、事件驱动架构和数据分析,提升系统的可伸缩性和可靠性。
36 5
|
2月前
|
安全 网络安全 数据安全/隐私保护
云原生技术探索:容器化与微服务架构的实践之路网络安全与信息安全:保护数据的关键策略
【8月更文挑战第28天】本文将深入探讨云原生技术的核心概念,包括容器化和微服务架构。我们将通过实际案例和代码示例,展示如何在云平台上实现高效的应用部署和管理。文章不仅提供理论知识,还包含实操指南,帮助开发者理解并应用这些前沿技术。 【8月更文挑战第28天】在数字化时代,网络安全和信息安全是保护个人和企业数据的前线防御。本文将探讨网络安全漏洞的成因、加密技术的应用以及提升安全意识的重要性。文章旨在通过分析网络安全的薄弱环节,介绍如何利用加密技术和提高用户警觉性来构建更为坚固的数据保护屏障。
|
1月前
|
缓存 负载均衡 数据管理
深入探索微服务架构的核心要素与实践策略在当今软件开发领域,微服务架构以其独特的优势和灵活性,已成为众多企业和开发者的首选。本文将深入探讨微服务架构的核心要素,包括服务拆分、通信机制、数据管理等,并结合实际案例分析其在不同场景下的应用策略,旨在为读者提供一套全面、深入的微服务架构实践指南。**
**微服务架构作为软件开发领域的热门话题,正引领着一场技术革新。本文从微服务架构的核心要素出发,详细阐述了服务拆分的原则与方法、通信机制的选择与优化、数据管理的策略与挑战等内容。同时,结合具体案例,分析了微服务架构在不同场景下的应用策略,为读者提供了实用的指导和建议。
|
2月前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
2月前
|
Java 数据库连接 微服务
揭秘微服务架构下的数据魔方:Hibernate如何玩转分布式持久化,实现秒级响应的秘密武器?
【8月更文挑战第31天】微服务架构通过将系统拆分成独立服务,提升了可维护性和扩展性,但也带来了数据一致性和事务管理等挑战。Hibernate 作为强大的 ORM 工具,在微服务中发挥关键作用,通过二级缓存和分布式事务支持,简化了对象关系映射,并提供了有效的持久化策略。其二级缓存机制减少数据库访问,提升性能;支持 JTA 保证跨服务事务一致性;乐观锁机制解决并发数据冲突。合理配置 Hibernate 可助力构建高效稳定的分布式系统。
59 0

热门文章

最新文章