数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第四章数据架构篇

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第四章数据架构篇

大家好,我是独孤风,一位曾经的港口煤炭工人,目前在某国企任大数据负责人,公众号大数据流动主理人。

   在最近的两年的时间里,因为公司的需求,还有大数据的发展趋势所在,我开始学习数据治理的相关知识。

   数据治理需要进行系统的学习才能真正掌握,也需要进行专业的考试认证才能证明自己在数据治理方面的学习能力和知识掌握情况。如果对数据治理和数据治理认证CDMP有疑问的话,可以参考我之前的文章,有详细的介绍。

5000字详解数据治理如何入门(附国际数据治理认证考试-CDMP学习群)

到底什么是CDMP——数据治理国际认证超全面介绍


正文共:299411

预计阅读时间:8分钟


本文档基于数据治理相关学习资料整理,为数据治理专业认证CDMP的学习笔记(思维导图与知识点)整理。

文章较长,建议收藏后阅读。

后续的文档请关注公众号 大数据流动,会持续的更新~

本文档为数据架构部分笔记,思维导图与知识点整理。共分为6个部分,由于页面显示原因,部分层级未能全部展开。结构如下图所示。

一、架构与数据架构

本部分主要学习架构的基本概念,企业数据架构的一些知识。

架构听起来高大上,但本质上还是在一个高层的视角对整体做一个设计把控,起到的是基础的作用。

架构是什么?

  • 对组件要素有组织的设计,旨在优化整个结构或系统的功能、性能、可行性、成本和用户体验。
  • 系统的基本结构,具体体现在架构构成中的组件、组件之间的相互关系以及管理其设计和演变的原则。
  • 在组织不同范围、不同层级开展。负责将难以理解的东西定义明确清晰。

数据架构是架构的一种。

数据架构:识别企业的数据需求(无论数据结构如何),设计和维护总蓝图以满足这些需求。使 用总蓝图来指导数据集成、控制数据资产,并使数据投资与业务战略保持一致。

数据架构是数据管理的基础,需要在不同层级上描述,以便更好的了解和帮助决策。

数据架构的构建:当前状态的描述、数据需求的定义、数据整合的指引、数据资产管理规范。

数据架构的目标:是在业务战略和技术实现之间建立起一座通畅的桥梁,数据架构是企业架构中的一部分。

数据架构的主要成果:1、数据存储和处理需求。2、设计满足当前和长期数据需求的结构和规划。

数据架构师的主要工作:1 定义数据当前状态。2 提供数据和组件的标准业务词汇。3 确保数据架构和企业战略、业务架构一致性。4 描述数据战略需求。5 高阶数据整合概要设计。6 整合企业数据架构蓝图。

总体数据架构实施:1 使用数据构架构件(主蓝图)来定义数据需求、指导数据整合、管控数据 资产,确保数据项目投入与企业战略保持一致。2 与参与改进业务或 IT 系统开发的利益相关方 合作,学习并影响他们。3 通过数据构架及通用的数据词汇,搭建企业数据语言。

数据架构的语境关系图如下所示:

业务驱动因素:1)利用新兴技术所带来的业务优势,从战略上帮助组织快速改变产品、服务和数据。2)将业务需求转换为数据和应用需求,以确保能够为业务流程处理提供有效数据。3)管理复杂数据和信息,并传递至整个企业。4)确保业务和 IT 技术保持一致。5)为企业改革、转型和提高适应性提供支撑。

为方便理解,整理本部分思维导图如下:

二、企业数据架构

要想更深入的理解企业架构知识,需要学习架构的类型与框架。

1、企业架构类型

企业架构包含业务架构、数据架构、应用架构和技术架构等。好的架构能助于让组织了解系统状态、加速转好,实现守规提效的目标。

2、架构框架

架构框架:架构的架构。思考和理解架构的方式。

比较著名的就是 Zachman 框架,6X6 矩阵。问询沟通和重新定义转换两个维度。问询沟通:

1 什么 What:目录列,构建架构的实体。

2 怎么 HOW:流程列,表示执行的活动。

3 在哪里 WHERE,分布列,业 务位置和技术位置。

4 谁 WHO:职责列,角色 和组织。

5 时间 WHEN:时间列,表示间隔、事件、周期和时间表。

6 为什么 WHY:动机列,表目标、策略和手段。

3、企业数据架构

企业数据架构包含两部分:1、企业数据模型(数据结构 、数据规范)。2、数据流设计。

企业数据模型包括:整体的/企业级的/独立实施/概念或逻辑/通用的/一致的/简化抽象的。数据实体(如业务概念)、数据实体间关系、关键业务规则和一些关键属性。

数据流设计:定义数据库、应用、平台和网络(组件)之间的需求和主蓝图。

数据流:1 业务流程中的应用。2 某个环境中的数据存储或数据库。3 网段。4 业务角色 。5 出现局部差异的位置。

数据流可以用于描述不同层级模型的映射关系:主题域、业务实体,乃至属性层面的映射关系。用 二维矩阵 或 数据流图 呈现。

为方便理解,整理本部分思维导图如下:

三、数据架构活动

数据架构活动:

1 建立企业数据构架。

建立企业数据架构要做的工作:1、战略。2、沟通与文化。3、组织。4、工作方法。5、结果。

数据架构会影响:1 定义项目数据需求。2 评审项目数据设计。3 确定数据溯源影响。4 数据复制 控制。5 实施数据架构标准。6 指导数据技术和更新决策。

具体的活动包括:

A 评估现有数据架构规范。

B 制定路线图。

企业架构开发路线图:1 高层次里程碑事件。2 所需资源。3 成本评估。4 业务能力工作流划分。路线图应以数据管理成熟度评估为指导。

C 管理项目中的企业需求。

企业数据架构项目相关的活动:定义范围。理解业务需求。设计。实施。

架构活动嵌入到项目过程采用的方式:瀑布方式。迭代方式。敏捷方式(DevOps)。

2 与其他企业架构集成。

主题域到细化的层面都需要建立与其他架构的联系。

为方便理解,整理本部分思维导图如下:

四、数据架构工具和方法

数据架构工具:数据建模工具。资产管理软件。图形设计应用。

数据架构方法:生命周期预测。图标使用规范。

生命周期预测:1 当前的。2 部署周期的。3 策略周期的。4 退役的。5 优先的。6 限制的。7 新兴的。8 审核的。

图标使用规范:1 清晰一致的说明。2 所有图表对象与说明相匹配。3 清晰一致的线条方向。4 一 致的交叉线显示方法。5 一致的对象属性。6 线性对称。

为方便理解,整理本部分思维导图如下:

五、数据架构实施指南

数据架构包括构件、活动、行为。数据架构实施工作内容:

1)建立企业数据架构团队和举办问题讨论会。

2)生成数据架构版本。

3)在开发项目中,形成和建立数据架构工作方式。

4)提高组织对数据架构工作价值认识。

在具体实施时,要明确两件事。

1、就绪评估和风险评估

就绪评估和风险评估:1 缺少管理层支持。2 成功与否缺乏证据。3 缺乏管理者的信任。4 管理层不正确的决策。5 文化冲击。6 缺乏有经验的项目经理。7 单一维度视角。

2、组织和文化依赖

组织和文化依赖(对数据框架的接受度取决于):

1 对架构方法的接受度。

2 确认数据属于组织的业务资产,而不仅是 IT 的任务。

3 放弃局部数据视角,接受企业级数据视角的能力。

4 将架构交付成果整合到项目实施中的能力。

5 规范数据治理的接受程度。

6 立足企业布局,而不局限于项目交付成果和 IT 解决方案的能力。

为方便理解,整理本部分思维导图如下:

六、数据架构治理

同样的,数据架构也需要被治理。

数据架构治理活动:

1)项目监督。

2)管理架构设计、生命周期和工具。

3)定义标准。

4)创建数据相关构件。

数据架构度量指标:

1、架构标准接受率。

2、实现趋势。

3、业务价值度量指标。

实施趋势:使用/重用/代替/废弃测量。项目执行效率测量。

业务价值度量指标:1 业务敏捷性改进。2 业务质量。3 业务操作质量。4 业务环境改进。

为方便理解,整理本部分思维导图如下:

未完待续~

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
消息中间件 存储 缓存
十万订单每秒热点数据架构优化实践深度解析
【11月更文挑战第20天】随着互联网技术的飞速发展,电子商务平台在高峰时段需要处理海量订单,这对系统的性能、稳定性和扩展性提出了极高的要求。尤其是在“双十一”、“618”等大型促销活动中,每秒需要处理数万甚至数十万笔订单,这对系统的热点数据处理能力构成了严峻挑战。本文将深入探讨如何优化架构以应对每秒十万订单级别的热点数据处理,从历史背景、功能点、业务场景、底层原理以及使用Java模拟示例等多个维度进行剖析。
58 8
|
2月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
436 7
|
2月前
|
数据采集 搜索推荐 数据管理
数据架构 CDP 是什么?
数据架构 CDP 是什么?
70 2
|
5天前
|
自然语言处理 JavaScript Java
《鸿蒙HarmonyOS应用开发从入门到精通(第2版)》学习笔记——HarmonyOS架构介绍
HarmonyOS采用分层架构设计,从下至上分为内核层、系统服务层、框架层和应用层。内核层支持多内核设计与硬件驱动;系统服务层提供核心能力和服务;框架层支持多语言开发;应用层包括系统及第三方应用,支持跨设备调度,确保一致的用户体验。
119 81
|
5月前
|
机器学习/深度学习 数据采集 人工智能
揭秘!47页文档拆解苹果智能,从架构、数据到训练和优化
【8月更文挑战第23天】苹果公司发布了一份47页的研究文档,深入解析了其在智能基础语言模型领域的探索与突破。文档揭示了苹果在此领域的雄厚实力,并分享了其独特的混合架构设计,该设计融合了Transformer与RNN的优势,显著提高了模型处理序列数据的效能与表现力。然而,这种架构也带来了诸如权重平衡与资源消耗等挑战。苹果利用海量、多样的高质量数据集训练模型,但确保数据质量及处理噪声仍需克服。此外,苹果采取了自监督与无监督学习相结合的高效训练策略,以增强模型的泛化与稳健性,但仍需解决预训练任务选择及超参数调优等问题。
164 66
|
4月前
|
存储 搜索推荐 数据库
MarkLogic在微服务架构中的应用:提供服务间通信和数据共享的机制
随着微服务架构的发展,服务间通信和数据共享成为关键挑战。本文介绍MarkLogic数据库在微服务架构中的应用,阐述其多模型支持、索引搜索、事务处理及高可用性等优势,以及如何利用MarkLogic实现数据共享、服务间通信、事件驱动架构和数据分析,提升系统的可伸缩性和可靠性。
60 5
|
3月前
|
存储 大数据 数据处理
洞察未来:数据治理中的数据架构新思维
数据治理中的数据架构新思维对于应对未来挑战、提高数据处理效率、加强数据安全与隐私保护以及促进数据驱动的业务创新具有重要意义。企业需要紧跟时代步伐,不断探索和实践新型数据架构,以洞察未来发展趋势,为企业的长远发展奠定坚实基础。
|
5月前
|
安全 网络安全 数据安全/隐私保护
云原生技术探索:容器化与微服务架构的实践之路网络安全与信息安全:保护数据的关键策略
【8月更文挑战第28天】本文将深入探讨云原生技术的核心概念,包括容器化和微服务架构。我们将通过实际案例和代码示例,展示如何在云平台上实现高效的应用部署和管理。文章不仅提供理论知识,还包含实操指南,帮助开发者理解并应用这些前沿技术。 【8月更文挑战第28天】在数字化时代,网络安全和信息安全是保护个人和企业数据的前线防御。本文将探讨网络安全漏洞的成因、加密技术的应用以及提升安全意识的重要性。文章旨在通过分析网络安全的薄弱环节,介绍如何利用加密技术和提高用户警觉性来构建更为坚固的数据保护屏障。
|
5月前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
5月前
|
Java 数据库连接 微服务
揭秘微服务架构下的数据魔方:Hibernate如何玩转分布式持久化,实现秒级响应的秘密武器?
【8月更文挑战第31天】微服务架构通过将系统拆分成独立服务,提升了可维护性和扩展性,但也带来了数据一致性和事务管理等挑战。Hibernate 作为强大的 ORM 工具,在微服务中发挥关键作用,通过二级缓存和分布式事务支持,简化了对象关系映射,并提供了有效的持久化策略。其二级缓存机制减少数据库访问,提升性能;支持 JTA 保证跨服务事务一致性;乐观锁机制解决并发数据冲突。合理配置 Hibernate 可助力构建高效稳定的分布式系统。
81 0

热门文章

最新文章