一文读懂数据网格原理与逻辑架构

简介: 数据网格的目标是为从大规模分析数据和历史事实中获取价值奠定基础,并将其应用于不断变化的数据环境、不断增长的数据源和消费者、用例所需转换和处理的多样性以及对变化的反应。

82132a18bbccb84c12c6504751a82baf.png

46d2e17e63e2156a21bba923e96825ed.png

585918a54a570159732a7dacd0d5790c.png

1065004a0ded022dd5d6e9f7170c0fc5.png

06c697f4d32eb984281c8fde082bb320.png

二 数据网格的核心原理和逻辑架构

数据网格的目标是为从大规模分析数据和历史事实中获取价值奠定基础,并将其应用于不断变化的数据环境、不断增长的数据源和消费者、用例所需转换和处理的多样性以及对变化的反应。为了实现这一目标,以下四个基本原则保障了数据网格实现都体现为实现规模化承诺,同时提供使数据可用所需的质量和完整性保证:1)面向域的分散数据所有权和架构,2)将数据作为产品,3)自助数据基础设施作为一个平台, 4) 联合计算治理。这四项原则对成为实现弹性扩展,同时解决不兼容数据孤岛或运营成本增加的问题是必要和充分的。

1域数据所有权

数据网格的核心是分散和将责任分配给最接近数据的人,以支持持续的变化和可扩展性。问题是,我们如何分解和分散数据生态系统的组成部分及其所有权。这里的组件由分析数据、其元数据以及为其提供服务所需的计算组成。

数据网格遵循组织单元的视角作为分解依据。我们今天的组织是根据其业务领域进行分解的。这种分解将首持续变化和进化的影响,在大多数情况下本地化到域的有界上下文中。因此,使业务域的有界上下文成为数据所有权分布的良好选择。

在本文中,将继续使用 数字媒体相同的用例。可以想象,媒体公司根据播客、管理播客发布的团队和系统等领域来划分其运营,成为支持运营的系统和团队;艺术家、管理加入和付费艺术家的团队和系统等。数据网格认为分析数据的所有权和服务应该依赖这些领域。例如,管理播客的团队在提供用于发布播客的API 的同时,还应负责提供代表已发布播客随时间推移的历史数据以及随时间推移的收听率等其他事实。

逻辑架构:面向域的数据和计算

为了促进这种分解,我们需要建模一个按域排列分析数据的架构。在此架构中,域与组织其他部分的接口不仅包括操作能力,还包括对域所服务的分析数据的访问。例如,播客域提供了操作 API 来创建新的播客集,还提供了一个分析数据端点,用于检索过去N个月内的所有播客集数据。这意味着架构必须消除任何冲突或耦合,以让域提供其分析数据并发布计算数据的代码,独立于其他域。

以下示例演示了面向域的数据所有权原则。这些图只是逻辑表示和示例性的。每个域可以公开一个或多个操作 API,以及一个或多个分析数据端点。

fb31d2185115b95b010f021e5663aa0e.png

98db9a98c261478befaf2f367e0e356c.png

1f058292908a3eb15c57d0f2c476d93b.png

19cf1d4ce106acd5cf0eba02bc4fcba2.png

f0b415828ed85c06e740714cc376a191.png

b787d7849bb1e40e3049af92e6e25c22.png

d1fa854c7784a99b9559b361b35ecb97.pnga0cac788b11d10f07a4f99476a35dc84.png

dcbfccc625e1237e1f88f2af024c2703.png

78f06a94d24d40da7eb6a902f82a812a.png

8d9e0c479b53a240094df85d1a5f156c.png

69ceebf2f075c3c5a437cbd0338bad7e.png

fd094fb3ad8922e9b366a50850507734.png

ce9ed6487894eaa74d7db14c2c4a4e78.png

f34be023d4ba449ad21e431fe7303971.png

ed2e07294cfe9490aeb1c86099b7e915.png

0d7979fc09e197fc4361b20831f9f34a.png

b3edfd142154b907892d9db637547eb6.png

cabc75cefc847ca857bebeb649fadd82.png

通过上文我们已经建立了一种通用语言和一种逻辑思维模型,未来可以共同推进网格组件的详细蓝图,例如数据产品、平台和所需的标准化。

相关文章
|
4月前
|
数据采集 缓存 前端开发
如何开发门店业绩上报管理系统中的商品数据板块?(附架构图+流程图+代码参考)
本文深入讲解门店业绩上报系统中商品数据板块的设计与实现,涵盖商品类别、信息、档案等内容,详细阐述技术架构、业务流程、数据库设计及开发技巧,并提供完整代码示例,助力企业构建稳定、可扩展的商品数据系统。
|
3月前
|
数据采集 机器学习/深度学习 搜索推荐
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
MIT与丰田研究院研究发现,扩散模型的“局部性”并非源于网络架构的精巧设计,而是自然图像统计规律的产物。通过线性模型仅学习像素相关性,即可复现U-Net般的局部敏感模式,揭示数据本身蕴含生成“魔法”。
187 3
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
|
4月前
|
机器学习/深度学习 算法 文件存储
神经架构搜索NAS详解:三种核心算法原理与Python实战代码
神经架构搜索(NAS)正被广泛应用于大模型及语言/视觉模型设计,如LangVision-LoRA-NAS、Jet-Nemotron等。本文回顾NAS核心技术,解析其自动化设计原理,探讨强化学习、进化算法与梯度方法的应用与差异,揭示NAS在大模型时代的潜力与挑战。
1122 6
神经架构搜索NAS详解:三种核心算法原理与Python实战代码
|
3月前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
2月前
|
机器学习/深度学习 自然语言处理 监控
23_Transformer架构详解:从原理到PyTorch实现
Transformer架构自2017年Google发表的论文《Attention Is All You Need》中提出以来,彻底改变了深度学习特别是自然语言处理领域的格局。在短短几年内,Transformer已成为几乎所有现代大型语言模型(LLM)的基础架构,包括BERT、GPT系列、T5等革命性模型。与传统的RNN和LSTM相比,Transformer通过自注意力机制实现了并行化训练,极大提高了模型的训练效率和性能。
|
4月前
|
数据采集 监控 数据可视化
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
本案例讲述了在豆瓣电影数据采集过程中,面对数据量激增和限制机制带来的挑战,如何通过引入爬虫代理、分布式架构与异步IO等技术手段,实现采集系统的优化与扩展,最终支撑起百万级请求的稳定抓取。
249 0
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
|
4月前
|
缓存 前端开发 BI
如何开发门店业绩上报管理系统中的门店数据板块?(附架构图+流程图+代码参考)
门店业绩上报管理是将门店营业、动销、人效等数据按标准化流程上报至企业中台或BI系统,用于考核、分析和决策。其核心在于构建“数据底座”,涵盖门店信息管理、数据采集、校验、汇总与对接。实现时需解决数据脏、上报慢、分析无据等问题。本文详解了实现路径,包括系统架构、数据模型、业务流程、开发要点、三大代码块(数据库、后端、前端)及FAQ,助你构建高效门店数据管理体系。
|
2月前
|
Cloud Native Serverless API
微服务架构实战指南:从单体应用到云原生的蜕变之路
🌟蒋星熠Jaxonic,代码为舟的星际旅人。深耕微服务架构,擅以DDD拆分服务、构建高可用通信与治理体系。分享从单体到云原生的实战经验,探索技术演进的无限可能。
微服务架构实战指南:从单体应用到云原生的蜕变之路
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。

热门文章

最新文章