DMBOK 读书笔记系列 数据架构

简介: 架构是对组件要素有组织的设计,旨在优化整个结构或系统功能、性能、可行性、成本和用户体验。

架构是对组件要素有组织的设计,旨在优化整个结构或系统功能、性能、可行性、成本和用户体验。

ISO/IEC/IEEE 42010:2011中的架构定义为:系统的基本结构,具体体现在架构构成的组件、组件之间的相互关系以及管理其设计和演变的原则。

架构设计工作通常在组织不同的范围内开展,比如企业、业务条线、项目等。在信息系统的不同层级开展,比如基础架构、应用架构、数据架构等。企业架构包括多种不同类型,比如业务架构、数据架构、应用架构、技术架构等。其中数据架构的主要目标是有效的管理数据,以及有效的管理数据存储和使用数据的系统。

数据架构是数据管理的基础。数据架构的构件包括:当前状态的描述、数据需求的定义、数据整合的指引、数据管控策略中要求的数据资产管理规范。组织的数据架构是指不同抽象层级主要设计文档的集合,其中主要包括数据的收集、存储、规划、使用和删除等标准。数据架构设计文件是正式的企业数据模型,包含数据名称、数据属性和元数据定义、概念和逻辑实体、关系以及业务规则。物理数据模型也属于数据架构文件,但是物理数据模型是数据建模和设计的产物,不是数据架构的产物。

一、数据架构概况

1、业务驱动因素

数据架构的目的是在业务战略和技术实现之间建立通畅的桥梁,数据架构是企业架构的一部分。主要驱动因素有:

■利用新技术的优势从战略上帮助组织快速改变产品、服务和数据;

■将业务需求转为数据和应用需求,确保为业务提供有效数据;

■管理复杂数据和信息并传递到整个企业;

■确保业务和IT技术保持一致;

■为企业数字化转型提供适应性支撑。

2、数据架构实施和成果

image.png

3、基本概念

企业架构类型:业务架构、数据架构、应用架构和技术架构。

企业架构框架:Zachman框架是著名的企业架构框架之一。完成的描述了一个企业以及相互之间的关系,它不定义如何创建模型,只是显示哪些模型应该存在。

723748269a338d8bbcb3db4bae674d69.jpg

数据架构定义了对组织非常重要元素的标准术语和设计。企业数据架构的设计中包括业务数据描述,如数据的收集、存储、整合、移动和分布。企业数据架构描述必须包括企业数据模型和数据流设计。

企业数据模型是一个整体的、企业级的、独立实施的概念或逻辑数据模型,为企业提供通用的、一致的数据视图。企业数据模型工作包括定义和管理企业词汇、业务规则和企业知识。企业数据模型利用不同层级增量和迭代的方式构建。通常采用自下而上的从分析现有模型开始,自上而下的设计主题模型。

7a01eadfe63e64c47ad1aa4c892c1bfc.jpg

数据流设计定义了数据库、应用、平台和网络之间的的需求和主蓝图。数据流是一种记录数据血缘的数据加工过程,用于描述数据如何在业务流程和系统中流动。

■数据流映射记录了数据以下内容的联系:

■业务流程中的应用;

■某个环境中的数据存储或数据库;

■有助于安全映射的网段;

■业务角色;

■出现局部差异的位置。

数据流可以用于描述不同层级模型的映射关系:主题域、业务实体, 乃至属性层面的映射关系。

二、数据架构活动

简化数据和企业架构所面临负责问题的方式包括:面向质量和面向创新。

1、建立企业数据架构

数据架构应该是企业架构的组成部分,但是没有企业架构依然可以构建数据架构。组织应该设计有助于明确目标和驱动数据架构的框架。建立企业数据架构的活动主要有:

Ⅰ现有数据架构规范评估

识别数据架构规范文档,评估当前企业数据架构的准确性、完整性和详细程度,

Ⅱ开发线路图

企业数据架构线路图描述了架构3-5年的发展路径,企业数据架构线路图必须与企业架构线路图相整合,业务数据驱动线路图可以从最独立的业务能力开始,在处理相互依赖程度较高的业务能力,按照顺序处理每个业务能力,需要遵循整体业务数据生成顺序。

cafa78dec687e4c063b437c075f47bb6.jpg

Ⅲ在项目中管理企业需求

架构不应该受开发时间的限制。构建架构层次的数据模型不仅应有企业全局观,而且要有能够让企业内部完成清楚理解的定义。

企业数据架构项目相关活动包括:

■定义范围,保证范围和接口与企业数据模型一致;

■理解业务需求,如实体、资源、可用性、质量和痛点,以评估满足这些需求的业务价值;

■设计形成详细的目标规范,包括数据生命周期内的业务规则、验证结果的有效性、需要提供的时间、改进目标模型等。

■实施。数据架构实施方式有瀑布方式、迭代方式和敏捷方式。

2、整合其他企业架构

最好把企业数据架构问题和项目组合管理进行整合,既能促进路线图的实施,又能获得更好的项目效果。

三、数据架构工具

1、数据建模工具

在管理所有层级数据模型的过程中,数据模型工具和模型库都是非常必须的。

2、资产管理软件

资产管理软件用于管理数据资源目录,描述其内容以及跟踪他们之间的关系。

3、图形设计应用

图形设计应用可以用于创建架构设计图形、数据流、数据价值链等构件。

四、数据架构实施中常见的问题

1、缺少管理层支持;

2、成功与否缺乏证据;

3、缺乏管理者信任;

4、管理层不正确的决策;

5、文化冲击;

6、缺乏有经验的项目经理;

7、单一维度视角。

五、数据架构治理度量指标

1、架构标准接受率

可以测量项目与已建立的数据架构的紧密程度以及项目与企业架构参与流程的遵循度。

2、实施趋势

(1)使用/重用/代替/废弃测量;

(2)项目执行效率测量。

3、业务价值度量

(1)业务敏捷性改进,生命周期改进或改变的好处;

(2)业务质量,业务用例是否按期完成;

(3)业务操作质量,准确性改进、时间减少、由于数据错误而导致的纠错费;

(4)业务环境改进,由于数据错误减少而改变客户保留率等。

对企业设计架构的质量驱动需求要求在规划项目时,强制将数据架构工作内容纳入企业的所有项目的开发计划中。从非常需要改进的主数据域开始建立企业数据架构,然后逐步扩展到包括面向业务时间的数据中。

相关文章
|
4月前
|
存储 BI Shell
Doris基础-架构、数据模型、数据划分
Apache Doris 是一款高性能、实时分析型数据库,基于MPP架构,支持高并发查询与复杂分析。其前身是百度的Palo项目,现为Apache顶级项目。Doris适用于报表分析、数据仓库构建、日志检索等场景,具备存算一体与存算分离两种架构,灵活适应不同业务需求。它提供主键、明细和聚合三种数据模型,便于高效处理更新、存储与统计汇总操作,广泛应用于大数据分析领域。
534 2
|
4月前
|
SQL 缓存 前端开发
如何开发进销存系统中的基础数据板块?(附架构图+流程图+代码参考)
进销存系统是企业管理采购、销售与库存的核心工具,能有效提升运营效率。其中,“基础数据板块”作为系统基石,决定了后续业务的准确性与扩展性。本文详解产品与仓库模块的设计实现,涵盖功能概述、表结构设计、前后端代码示例及数据流架构,助力企业构建高效稳定的数字化管理体系。
|
3月前
|
数据采集 缓存 前端开发
如何开发门店业绩上报管理系统中的商品数据板块?(附架构图+流程图+代码参考)
本文深入讲解门店业绩上报系统中商品数据板块的设计与实现,涵盖商品类别、信息、档案等内容,详细阐述技术架构、业务流程、数据库设计及开发技巧,并提供完整代码示例,助力企业构建稳定、可扩展的商品数据系统。
|
2月前
|
数据采集 机器学习/深度学习 搜索推荐
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
MIT与丰田研究院研究发现,扩散模型的“局部性”并非源于网络架构的精巧设计,而是自然图像统计规律的产物。通过线性模型仅学习像素相关性,即可复现U-Net般的局部敏感模式,揭示数据本身蕴含生成“魔法”。
162 3
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
|
2月前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
3月前
|
数据采集 监控 数据可视化
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
本案例讲述了在豆瓣电影数据采集过程中,面对数据量激增和限制机制带来的挑战,如何通过引入爬虫代理、分布式架构与异步IO等技术手段,实现采集系统的优化与扩展,最终支撑起百万级请求的稳定抓取。
150 0
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
|
3月前
|
SQL 数据采集 数据处理
终于有人把数据架构讲清楚了!
本文深入浅出地解析了数据架构的核心逻辑,涵盖其定义、作用、设计方法及常见误区,助力读者构建贴合业务的数据架构。
|
4月前
|
数据采集 存储 分布式计算
一文读懂数据中台架构,高效构建企业数据价值
在数字化时代,企业面临数据分散、难以统一管理的问题。数据中台架构通过整合、清洗和管理数据,打破信息孤岛,提升决策效率。本文详解其核心组成、搭建步骤及常见挑战,助力企业高效用数。
1721 24
|
3月前
|
缓存 前端开发 BI
如何开发门店业绩上报管理系统中的门店数据板块?(附架构图+流程图+代码参考)
门店业绩上报管理是将门店营业、动销、人效等数据按标准化流程上报至企业中台或BI系统,用于考核、分析和决策。其核心在于构建“数据底座”,涵盖门店信息管理、数据采集、校验、汇总与对接。实现时需解决数据脏、上报慢、分析无据等问题。本文详解了实现路径,包括系统架构、数据模型、业务流程、开发要点、三大代码块(数据库、后端、前端)及FAQ,助你构建高效门店数据管理体系。
|
7月前
|
存储 运维 Serverless
千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
697 69

热门文章

最新文章