一文读懂数据网格原理与逻辑架构

简介: 数据网格的目标是为从大规模分析数据和历史事实中获取价值奠定基础,并将其应用于不断变化的数据环境、不断增长的数据源和消费者、用例所需转换和处理的多样性以及对变化的反应。

82132a18bbccb84c12c6504751a82baf.png

46d2e17e63e2156a21bba923e96825ed.png

585918a54a570159732a7dacd0d5790c.png

1065004a0ded022dd5d6e9f7170c0fc5.png

06c697f4d32eb984281c8fde082bb320.png

二 数据网格的核心原理和逻辑架构

数据网格的目标是为从大规模分析数据和历史事实中获取价值奠定基础,并将其应用于不断变化的数据环境、不断增长的数据源和消费者、用例所需转换和处理的多样性以及对变化的反应。为了实现这一目标,以下四个基本原则保障了数据网格实现都体现为实现规模化承诺,同时提供使数据可用所需的质量和完整性保证:1)面向域的分散数据所有权和架构,2)将数据作为产品,3)自助数据基础设施作为一个平台, 4) 联合计算治理。这四项原则对成为实现弹性扩展,同时解决不兼容数据孤岛或运营成本增加的问题是必要和充分的。

1域数据所有权

数据网格的核心是分散和将责任分配给最接近数据的人,以支持持续的变化和可扩展性。问题是,我们如何分解和分散数据生态系统的组成部分及其所有权。这里的组件由分析数据、其元数据以及为其提供服务所需的计算组成。

数据网格遵循组织单元的视角作为分解依据。我们今天的组织是根据其业务领域进行分解的。这种分解将首持续变化和进化的影响,在大多数情况下本地化到域的有界上下文中。因此,使业务域的有界上下文成为数据所有权分布的良好选择。

在本文中,将继续使用 数字媒体相同的用例。可以想象,媒体公司根据播客、管理播客发布的团队和系统等领域来划分其运营,成为支持运营的系统和团队;艺术家、管理加入和付费艺术家的团队和系统等。数据网格认为分析数据的所有权和服务应该依赖这些领域。例如,管理播客的团队在提供用于发布播客的API 的同时,还应负责提供代表已发布播客随时间推移的历史数据以及随时间推移的收听率等其他事实。

逻辑架构:面向域的数据和计算

为了促进这种分解,我们需要建模一个按域排列分析数据的架构。在此架构中,域与组织其他部分的接口不仅包括操作能力,还包括对域所服务的分析数据的访问。例如,播客域提供了操作 API 来创建新的播客集,还提供了一个分析数据端点,用于检索过去N个月内的所有播客集数据。这意味着架构必须消除任何冲突或耦合,以让域提供其分析数据并发布计算数据的代码,独立于其他域。

以下示例演示了面向域的数据所有权原则。这些图只是逻辑表示和示例性的。每个域可以公开一个或多个操作 API,以及一个或多个分析数据端点。

fb31d2185115b95b010f021e5663aa0e.png

98db9a98c261478befaf2f367e0e356c.png

1f058292908a3eb15c57d0f2c476d93b.png

19cf1d4ce106acd5cf0eba02bc4fcba2.png

f0b415828ed85c06e740714cc376a191.png

b787d7849bb1e40e3049af92e6e25c22.png

d1fa854c7784a99b9559b361b35ecb97.pnga0cac788b11d10f07a4f99476a35dc84.png

dcbfccc625e1237e1f88f2af024c2703.png

78f06a94d24d40da7eb6a902f82a812a.png

8d9e0c479b53a240094df85d1a5f156c.png

69ceebf2f075c3c5a437cbd0338bad7e.png

fd094fb3ad8922e9b366a50850507734.png

ce9ed6487894eaa74d7db14c2c4a4e78.png

f34be023d4ba449ad21e431fe7303971.png

ed2e07294cfe9490aeb1c86099b7e915.png

0d7979fc09e197fc4361b20831f9f34a.png

b3edfd142154b907892d9db637547eb6.png

cabc75cefc847ca857bebeb649fadd82.png

通过上文我们已经建立了一种通用语言和一种逻辑思维模型,未来可以共同推进网格组件的详细蓝图,例如数据产品、平台和所需的标准化。

相关文章
|
18天前
|
存储 SQL 关系型数据库
MySQL进阶突击系列(03) MySQL架构原理solo九魂17环连问 | 给大厂面试官的一封信
本文介绍了MySQL架构原理、存储引擎和索引的相关知识点,涵盖查询和更新SQL的执行过程、MySQL各组件的作用、存储引擎的类型及特性、索引的建立和使用原则,以及二叉树、平衡二叉树和B树的区别。通过这些内容,帮助读者深入了解MySQL的工作机制,提高数据库管理和优化能力。
|
1月前
|
人工智能 前端开发 编译器
【AI系统】LLVM 架构设计和原理
本文介绍了LLVM的诞生背景及其与GCC的区别,重点阐述了LLVM的架构特点,包括其组件独立性、中间表示(IR)的优势及整体架构。通过Clang+LLVM的实际编译案例,展示了从C代码到可执行文件的全过程,突显了LLVM在编译器领域的创新与优势。
54 3
|
2月前
|
运维 持续交付 云计算
深入解析云计算中的微服务架构:原理、优势与实践
深入解析云计算中的微服务架构:原理、优势与实践
70 1
|
2月前
|
消息中间件 存储 缓存
十万订单每秒热点数据架构优化实践深度解析
【11月更文挑战第20天】随着互联网技术的飞速发展,电子商务平台在高峰时段需要处理海量订单,这对系统的性能、稳定性和扩展性提出了极高的要求。尤其是在“双十一”、“618”等大型促销活动中,每秒需要处理数万甚至数十万笔订单,这对系统的热点数据处理能力构成了严峻挑战。本文将深入探讨如何优化架构以应对每秒十万订单级别的热点数据处理,从历史背景、功能点、业务场景、底层原理以及使用Java模拟示例等多个维度进行剖析。
57 8
|
1月前
|
SQL 存储 关系型数据库
MySQL进阶突击系列(01)一条简单SQL搞懂MySQL架构原理 | 含实用命令参数集
本文从MySQL的架构原理出发,详细介绍其SQL查询的全过程,涵盖客户端发起SQL查询、服务端SQL接口、解析器、优化器、存储引擎及日志数据等内容。同时提供了MySQL常用的管理命令参数集,帮助读者深入了解MySQL的技术细节和优化方法。
|
2月前
|
监控 持续交付 API
深入理解云计算中的微服务架构:原理、优势与实践
深入理解云计算中的微服务架构:原理、优势与实践
41 0
|
2月前
|
API 持续交付 网络架构
深入解析微服务架构:原理、优势与实践
深入解析微服务架构:原理、优势与实践
40 0
|
29天前
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
2月前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
46 3
|
2月前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####

热门文章

最新文章