数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第四章数据架构篇

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第四章数据架构篇

大家好,我是独孤风,一位曾经的港口煤炭工人,目前在某国企任大数据负责人,公众号大数据流动主理人。

   在最近的两年的时间里,因为公司的需求,还有大数据的发展趋势所在,我开始学习数据治理的相关知识。

   数据治理需要进行系统的学习才能真正掌握,也需要进行专业的考试认证才能证明自己在数据治理方面的学习能力和知识掌握情况。如果对数据治理和数据治理认证CDMP有疑问的话,可以参考我之前的文章,有详细的介绍。

5000字详解数据治理如何入门(附国际数据治理认证考试-CDMP学习群)

到底什么是CDMP——数据治理国际认证超全面介绍


正文共:299411

预计阅读时间:8分钟


本文档基于数据治理相关学习资料整理,为数据治理专业认证CDMP的学习笔记(思维导图与知识点)整理。

文章较长,建议收藏后阅读。

后续的文档请关注公众号 大数据流动,会持续的更新~

本文档为数据架构部分笔记,思维导图与知识点整理。共分为6个部分,由于页面显示原因,部分层级未能全部展开。结构如下图所示。

一、架构与数据架构

本部分主要学习架构的基本概念,企业数据架构的一些知识。

架构听起来高大上,但本质上还是在一个高层的视角对整体做一个设计把控,起到的是基础的作用。

架构是什么?

  • 对组件要素有组织的设计,旨在优化整个结构或系统的功能、性能、可行性、成本和用户体验。
  • 系统的基本结构,具体体现在架构构成中的组件、组件之间的相互关系以及管理其设计和演变的原则。
  • 在组织不同范围、不同层级开展。负责将难以理解的东西定义明确清晰。

数据架构是架构的一种。

数据架构:识别企业的数据需求(无论数据结构如何),设计和维护总蓝图以满足这些需求。使 用总蓝图来指导数据集成、控制数据资产,并使数据投资与业务战略保持一致。

数据架构是数据管理的基础,需要在不同层级上描述,以便更好的了解和帮助决策。

数据架构的构建:当前状态的描述、数据需求的定义、数据整合的指引、数据资产管理规范。

数据架构的目标:是在业务战略和技术实现之间建立起一座通畅的桥梁,数据架构是企业架构中的一部分。

数据架构的主要成果:1、数据存储和处理需求。2、设计满足当前和长期数据需求的结构和规划。

数据架构师的主要工作:1 定义数据当前状态。2 提供数据和组件的标准业务词汇。3 确保数据架构和企业战略、业务架构一致性。4 描述数据战略需求。5 高阶数据整合概要设计。6 整合企业数据架构蓝图。

总体数据架构实施:1 使用数据构架构件(主蓝图)来定义数据需求、指导数据整合、管控数据 资产,确保数据项目投入与企业战略保持一致。2 与参与改进业务或 IT 系统开发的利益相关方 合作,学习并影响他们。3 通过数据构架及通用的数据词汇,搭建企业数据语言。

数据架构的语境关系图如下所示:

业务驱动因素:1)利用新兴技术所带来的业务优势,从战略上帮助组织快速改变产品、服务和数据。2)将业务需求转换为数据和应用需求,以确保能够为业务流程处理提供有效数据。3)管理复杂数据和信息,并传递至整个企业。4)确保业务和 IT 技术保持一致。5)为企业改革、转型和提高适应性提供支撑。

为方便理解,整理本部分思维导图如下:

二、企业数据架构

要想更深入的理解企业架构知识,需要学习架构的类型与框架。

1、企业架构类型

企业架构包含业务架构、数据架构、应用架构和技术架构等。好的架构能助于让组织了解系统状态、加速转好,实现守规提效的目标。

2、架构框架

架构框架:架构的架构。思考和理解架构的方式。

比较著名的就是 Zachman 框架,6X6 矩阵。问询沟通和重新定义转换两个维度。问询沟通:

1 什么 What:目录列,构建架构的实体。

2 怎么 HOW:流程列,表示执行的活动。

3 在哪里 WHERE,分布列,业 务位置和技术位置。

4 谁 WHO:职责列,角色 和组织。

5 时间 WHEN:时间列,表示间隔、事件、周期和时间表。

6 为什么 WHY:动机列,表目标、策略和手段。

3、企业数据架构

企业数据架构包含两部分:1、企业数据模型(数据结构 、数据规范)。2、数据流设计。

企业数据模型包括:整体的/企业级的/独立实施/概念或逻辑/通用的/一致的/简化抽象的。数据实体(如业务概念)、数据实体间关系、关键业务规则和一些关键属性。

数据流设计:定义数据库、应用、平台和网络(组件)之间的需求和主蓝图。

数据流:1 业务流程中的应用。2 某个环境中的数据存储或数据库。3 网段。4 业务角色 。5 出现局部差异的位置。

数据流可以用于描述不同层级模型的映射关系:主题域、业务实体,乃至属性层面的映射关系。用 二维矩阵 或 数据流图 呈现。

为方便理解,整理本部分思维导图如下:

三、数据架构活动

数据架构活动:

1 建立企业数据构架。

建立企业数据架构要做的工作:1、战略。2、沟通与文化。3、组织。4、工作方法。5、结果。

数据架构会影响:1 定义项目数据需求。2 评审项目数据设计。3 确定数据溯源影响。4 数据复制 控制。5 实施数据架构标准。6 指导数据技术和更新决策。

具体的活动包括:

A 评估现有数据架构规范。

B 制定路线图。

企业架构开发路线图:1 高层次里程碑事件。2 所需资源。3 成本评估。4 业务能力工作流划分。路线图应以数据管理成熟度评估为指导。

C 管理项目中的企业需求。

企业数据架构项目相关的活动:定义范围。理解业务需求。设计。实施。

架构活动嵌入到项目过程采用的方式:瀑布方式。迭代方式。敏捷方式(DevOps)。

2 与其他企业架构集成。

主题域到细化的层面都需要建立与其他架构的联系。

为方便理解,整理本部分思维导图如下:

四、数据架构工具和方法

数据架构工具:数据建模工具。资产管理软件。图形设计应用。

数据架构方法:生命周期预测。图标使用规范。

生命周期预测:1 当前的。2 部署周期的。3 策略周期的。4 退役的。5 优先的。6 限制的。7 新兴的。8 审核的。

图标使用规范:1 清晰一致的说明。2 所有图表对象与说明相匹配。3 清晰一致的线条方向。4 一 致的交叉线显示方法。5 一致的对象属性。6 线性对称。

为方便理解,整理本部分思维导图如下:

五、数据架构实施指南

数据架构包括构件、活动、行为。数据架构实施工作内容:

1)建立企业数据架构团队和举办问题讨论会。

2)生成数据架构版本。

3)在开发项目中,形成和建立数据架构工作方式。

4)提高组织对数据架构工作价值认识。

在具体实施时,要明确两件事。

1、就绪评估和风险评估

就绪评估和风险评估:1 缺少管理层支持。2 成功与否缺乏证据。3 缺乏管理者的信任。4 管理层不正确的决策。5 文化冲击。6 缺乏有经验的项目经理。7 单一维度视角。

2、组织和文化依赖

组织和文化依赖(对数据框架的接受度取决于):

1 对架构方法的接受度。

2 确认数据属于组织的业务资产,而不仅是 IT 的任务。

3 放弃局部数据视角,接受企业级数据视角的能力。

4 将架构交付成果整合到项目实施中的能力。

5 规范数据治理的接受程度。

6 立足企业布局,而不局限于项目交付成果和 IT 解决方案的能力。

为方便理解,整理本部分思维导图如下:

六、数据架构治理

同样的,数据架构也需要被治理。

数据架构治理活动:

1)项目监督。

2)管理架构设计、生命周期和工具。

3)定义标准。

4)创建数据相关构件。

数据架构度量指标:

1、架构标准接受率。

2、实现趋势。

3、业务价值度量指标。

实施趋势:使用/重用/代替/废弃测量。项目执行效率测量。

业务价值度量指标:1 业务敏捷性改进。2 业务质量。3 业务操作质量。4 业务环境改进。

为方便理解,整理本部分思维导图如下:

未完待续~

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
3月前
|
存储 BI Shell
Doris基础-架构、数据模型、数据划分
Apache Doris 是一款高性能、实时分析型数据库,基于MPP架构,支持高并发查询与复杂分析。其前身是百度的Palo项目,现为Apache顶级项目。Doris适用于报表分析、数据仓库构建、日志检索等场景,具备存算一体与存算分离两种架构,灵活适应不同业务需求。它提供主键、明细和聚合三种数据模型,便于高效处理更新、存储与统计汇总操作,广泛应用于大数据分析领域。
383 2
|
2月前
|
数据采集 缓存 前端开发
如何开发门店业绩上报管理系统中的商品数据板块?(附架构图+流程图+代码参考)
本文深入讲解门店业绩上报系统中商品数据板块的设计与实现,涵盖商品类别、信息、档案等内容,详细阐述技术架构、业务流程、数据库设计及开发技巧,并提供完整代码示例,助力企业构建稳定、可扩展的商品数据系统。
|
17天前
|
数据采集 机器学习/深度学习 搜索推荐
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
MIT与丰田研究院研究发现,扩散模型的“局部性”并非源于网络架构的精巧设计,而是自然图像统计规律的产物。通过线性模型仅学习像素相关性,即可复现U-Net般的局部敏感模式,揭示数据本身蕴含生成“魔法”。
88 3
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
|
3月前
|
SQL 缓存 前端开发
如何开发进销存系统中的基础数据板块?(附架构图+流程图+代码参考)
进销存系统是企业管理采购、销售与库存的核心工具,能有效提升运营效率。其中,“基础数据板块”作为系统基石,决定了后续业务的准确性与扩展性。本文详解产品与仓库模块的设计实现,涵盖功能概述、表结构设计、前后端代码示例及数据流架构,助力企业构建高效稳定的数字化管理体系。
|
27天前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
2月前
|
数据采集 监控 数据可视化
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
本案例讲述了在豆瓣电影数据采集过程中,面对数据量激增和限制机制带来的挑战,如何通过引入爬虫代理、分布式架构与异步IO等技术手段,实现采集系统的优化与扩展,最终支撑起百万级请求的稳定抓取。
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
|
2月前
|
缓存 前端开发 BI
如何开发门店业绩上报管理系统中的门店数据板块?(附架构图+流程图+代码参考)
门店业绩上报管理是将门店营业、动销、人效等数据按标准化流程上报至企业中台或BI系统,用于考核、分析和决策。其核心在于构建“数据底座”,涵盖门店信息管理、数据采集、校验、汇总与对接。实现时需解决数据脏、上报慢、分析无据等问题。本文详解了实现路径,包括系统架构、数据模型、业务流程、开发要点、三大代码块(数据库、后端、前端)及FAQ,助你构建高效门店数据管理体系。
|
3月前
|
数据采集 存储 分布式计算
一文读懂数据中台架构,高效构建企业数据价值
在数字化时代,企业面临数据分散、难以统一管理的问题。数据中台架构通过整合、清洗和管理数据,打破信息孤岛,提升决策效率。本文详解其核心组成、搭建步骤及常见挑战,助力企业高效用数。
1067 24
|
2月前
|
SQL 数据采集 数据处理
终于有人把数据架构讲清楚了!
本文深入浅出地解析了数据架构的核心逻辑,涵盖其定义、作用、设计方法及常见误区,助力读者构建贴合业务的数据架构。
|
6月前
|
存储 运维 Serverless
千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
540 69

热门文章

最新文章