DMBOK 读书笔记系列 数据架构

简介: 架构是对组件要素有组织的设计,旨在优化整个结构或系统功能、性能、可行性、成本和用户体验。

架构是对组件要素有组织的设计,旨在优化整个结构或系统功能、性能、可行性、成本和用户体验。

ISO/IEC/IEEE 42010:2011中的架构定义为:系统的基本结构,具体体现在架构构成的组件、组件之间的相互关系以及管理其设计和演变的原则。

架构设计工作通常在组织不同的范围内开展,比如企业、业务条线、项目等。在信息系统的不同层级开展,比如基础架构、应用架构、数据架构等。企业架构包括多种不同类型,比如业务架构、数据架构、应用架构、技术架构等。其中数据架构的主要目标是有效的管理数据,以及有效的管理数据存储和使用数据的系统。

数据架构是数据管理的基础。数据架构的构件包括:当前状态的描述、数据需求的定义、数据整合的指引、数据管控策略中要求的数据资产管理规范。组织的数据架构是指不同抽象层级主要设计文档的集合,其中主要包括数据的收集、存储、规划、使用和删除等标准。数据架构设计文件是正式的企业数据模型,包含数据名称、数据属性和元数据定义、概念和逻辑实体、关系以及业务规则。物理数据模型也属于数据架构文件,但是物理数据模型是数据建模和设计的产物,不是数据架构的产物。

一、数据架构概况

1、业务驱动因素

数据架构的目的是在业务战略和技术实现之间建立通畅的桥梁,数据架构是企业架构的一部分。主要驱动因素有:

■利用新技术的优势从战略上帮助组织快速改变产品、服务和数据;

■将业务需求转为数据和应用需求,确保为业务提供有效数据;

■管理复杂数据和信息并传递到整个企业;

■确保业务和IT技术保持一致;

■为企业数字化转型提供适应性支撑。

2、数据架构实施和成果

image.png

3、基本概念

企业架构类型:业务架构、数据架构、应用架构和技术架构。

企业架构框架:Zachman框架是著名的企业架构框架之一。完成的描述了一个企业以及相互之间的关系,它不定义如何创建模型,只是显示哪些模型应该存在。

723748269a338d8bbcb3db4bae674d69.jpg

数据架构定义了对组织非常重要元素的标准术语和设计。企业数据架构的设计中包括业务数据描述,如数据的收集、存储、整合、移动和分布。企业数据架构描述必须包括企业数据模型和数据流设计。

企业数据模型是一个整体的、企业级的、独立实施的概念或逻辑数据模型,为企业提供通用的、一致的数据视图。企业数据模型工作包括定义和管理企业词汇、业务规则和企业知识。企业数据模型利用不同层级增量和迭代的方式构建。通常采用自下而上的从分析现有模型开始,自上而下的设计主题模型。

7a01eadfe63e64c47ad1aa4c892c1bfc.jpg

数据流设计定义了数据库、应用、平台和网络之间的的需求和主蓝图。数据流是一种记录数据血缘的数据加工过程,用于描述数据如何在业务流程和系统中流动。

■数据流映射记录了数据以下内容的联系:

■业务流程中的应用;

■某个环境中的数据存储或数据库;

■有助于安全映射的网段;

■业务角色;

■出现局部差异的位置。

数据流可以用于描述不同层级模型的映射关系:主题域、业务实体, 乃至属性层面的映射关系。

二、数据架构活动

简化数据和企业架构所面临负责问题的方式包括:面向质量和面向创新。

1、建立企业数据架构

数据架构应该是企业架构的组成部分,但是没有企业架构依然可以构建数据架构。组织应该设计有助于明确目标和驱动数据架构的框架。建立企业数据架构的活动主要有:

Ⅰ现有数据架构规范评估

识别数据架构规范文档,评估当前企业数据架构的准确性、完整性和详细程度,

Ⅱ开发线路图

企业数据架构线路图描述了架构3-5年的发展路径,企业数据架构线路图必须与企业架构线路图相整合,业务数据驱动线路图可以从最独立的业务能力开始,在处理相互依赖程度较高的业务能力,按照顺序处理每个业务能力,需要遵循整体业务数据生成顺序。

cafa78dec687e4c063b437c075f47bb6.jpg

Ⅲ在项目中管理企业需求

架构不应该受开发时间的限制。构建架构层次的数据模型不仅应有企业全局观,而且要有能够让企业内部完成清楚理解的定义。

企业数据架构项目相关活动包括:

■定义范围,保证范围和接口与企业数据模型一致;

■理解业务需求,如实体、资源、可用性、质量和痛点,以评估满足这些需求的业务价值;

■设计形成详细的目标规范,包括数据生命周期内的业务规则、验证结果的有效性、需要提供的时间、改进目标模型等。

■实施。数据架构实施方式有瀑布方式、迭代方式和敏捷方式。

2、整合其他企业架构

最好把企业数据架构问题和项目组合管理进行整合,既能促进路线图的实施,又能获得更好的项目效果。

三、数据架构工具

1、数据建模工具

在管理所有层级数据模型的过程中,数据模型工具和模型库都是非常必须的。

2、资产管理软件

资产管理软件用于管理数据资源目录,描述其内容以及跟踪他们之间的关系。

3、图形设计应用

图形设计应用可以用于创建架构设计图形、数据流、数据价值链等构件。

四、数据架构实施中常见的问题

1、缺少管理层支持;

2、成功与否缺乏证据;

3、缺乏管理者信任;

4、管理层不正确的决策;

5、文化冲击;

6、缺乏有经验的项目经理;

7、单一维度视角。

五、数据架构治理度量指标

1、架构标准接受率

可以测量项目与已建立的数据架构的紧密程度以及项目与企业架构参与流程的遵循度。

2、实施趋势

(1)使用/重用/代替/废弃测量;

(2)项目执行效率测量。

3、业务价值度量

(1)业务敏捷性改进,生命周期改进或改变的好处;

(2)业务质量,业务用例是否按期完成;

(3)业务操作质量,准确性改进、时间减少、由于数据错误而导致的纠错费;

(4)业务环境改进,由于数据错误减少而改变客户保留率等。

对企业设计架构的质量驱动需求要求在规划项目时,强制将数据架构工作内容纳入企业的所有项目的开发计划中。从非常需要改进的主数据域开始建立企业数据架构,然后逐步扩展到包括面向业务时间的数据中。

相关文章
|
2月前
|
机器学习/深度学习 数据采集 人工智能
揭秘!47页文档拆解苹果智能,从架构、数据到训练和优化
【8月更文挑战第23天】苹果公司发布了一份47页的研究文档,深入解析了其在智能基础语言模型领域的探索与突破。文档揭示了苹果在此领域的雄厚实力,并分享了其独特的混合架构设计,该设计融合了Transformer与RNN的优势,显著提高了模型处理序列数据的效能与表现力。然而,这种架构也带来了诸如权重平衡与资源消耗等挑战。苹果利用海量、多样的高质量数据集训练模型,但确保数据质量及处理噪声仍需克服。此外,苹果采取了自监督与无监督学习相结合的高效训练策略,以增强模型的泛化与稳健性,但仍需解决预训练任务选择及超参数调优等问题。
140 66
|
3月前
|
存储 分布式数据库 数据库
Hbase学习二:Hbase数据特点和架构特点
Hbase学习二:Hbase数据特点和架构特点
62 0
|
3月前
|
SQL 数据库
数据架构问题之如何通过计算引擎的流批一体能力和对应的connector解决数据同步问题
数据架构问题之如何通过计算引擎的流批一体能力和对应的connector解决数据同步问题
|
16天前
|
存储 大数据 数据处理
洞察未来:数据治理中的数据架构新思维
数据治理中的数据架构新思维对于应对未来挑战、提高数据处理效率、加强数据安全与隐私保护以及促进数据驱动的业务创新具有重要意义。企业需要紧跟时代步伐,不断探索和实践新型数据架构,以洞察未来发展趋势,为企业的长远发展奠定坚实基础。
|
1月前
|
存储 搜索推荐 数据库
MarkLogic在微服务架构中的应用:提供服务间通信和数据共享的机制
随着微服务架构的发展,服务间通信和数据共享成为关键挑战。本文介绍MarkLogic数据库在微服务架构中的应用,阐述其多模型支持、索引搜索、事务处理及高可用性等优势,以及如何利用MarkLogic实现数据共享、服务间通信、事件驱动架构和数据分析,提升系统的可伸缩性和可靠性。
36 5
|
2月前
|
安全 网络安全 数据安全/隐私保护
云原生技术探索:容器化与微服务架构的实践之路网络安全与信息安全:保护数据的关键策略
【8月更文挑战第28天】本文将深入探讨云原生技术的核心概念,包括容器化和微服务架构。我们将通过实际案例和代码示例,展示如何在云平台上实现高效的应用部署和管理。文章不仅提供理论知识,还包含实操指南,帮助开发者理解并应用这些前沿技术。 【8月更文挑战第28天】在数字化时代,网络安全和信息安全是保护个人和企业数据的前线防御。本文将探讨网络安全漏洞的成因、加密技术的应用以及提升安全意识的重要性。文章旨在通过分析网络安全的薄弱环节,介绍如何利用加密技术和提高用户警觉性来构建更为坚固的数据保护屏障。
|
2月前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
2月前
|
机器学习/深度学习 自然语言处理 数据处理
|
2月前
|
缓存 程序员 调度
第3章-图形处理单元-3.1-数据并行架构
第3章-图形处理单元-3.1-数据并行架构
31 1
|
2月前
|
Java 数据库连接 微服务
揭秘微服务架构下的数据魔方:Hibernate如何玩转分布式持久化,实现秒级响应的秘密武器?
【8月更文挑战第31天】微服务架构通过将系统拆分成独立服务,提升了可维护性和扩展性,但也带来了数据一致性和事务管理等挑战。Hibernate 作为强大的 ORM 工具,在微服务中发挥关键作用,通过二级缓存和分布式事务支持,简化了对象关系映射,并提供了有效的持久化策略。其二级缓存机制减少数据库访问,提升性能;支持 JTA 保证跨服务事务一致性;乐观锁机制解决并发数据冲突。合理配置 Hibernate 可助力构建高效稳定的分布式系统。
59 0