谈谈如何从数据湖(Data Lake)架构转向数据网格(Data Mesh)架构

简介: 尽管数据网格实践被应用在有些客户中,但企业规模性的采用仍有很长的路要走。

e496de04088b031fd82f49436c362ab6.png

41921c72b6d4ccb2b8863e098e8903ec.png

645bac2be9d6e9422988de13d9c36005.png

3d82c0b29c1b44da5b74f1b48279ba03.png

56c51ba97e2e122721779f389afd4268.png

92fb94ed6a8c35d73d983c70dec66382.png

3dd6cde2aaad2a83407f7dedc89efec8.png

85b18816d1e02e69816faed373d36852.png

14d1544cf3b9e5d82440157bb036e95f.png

f9bfdaee4a652f75f10d2eaeebbbd723.png

9e1cb75a3a58a65fc0ea52df1380e923.png

d6d3a39e07b4af5ed0c29363dc37c303.png

b7095f156e4e38b13a0b7a53ebe52341.png

4702748a81ebdd3cde93f2bec2f83a72.png

68c83b750ccc01b0b5a9fe8f29fbdb53.png

1f6611795bbf6d2be983326442ba887d.png

b2377259dc6543c6079c854b792fe14e.png

5e1e41a489cb914bf01724ce0d731d0b.png

fe1ffb1dbfb4bb666a3eda0d44db9085.png

c127018f123d3aeb0388b875aa9ad646.png

b114221f960c0c73e7c4e25fc482f92e.png

1731f281fb744618ad3b4017c420f01c.png

0a815acb55f5b163e5e29f571014a41a.png

b9419aedf420189550576fc39df22fa5.png

5845bdb125bf5a58cfe0ccdedcd7e419.png

ef9fcbb47c03c798da601a11dd6c91e1.png

815fe678b4e338b43aceec9c7bc39fde.png

b046040c440f0e0ab73334dd57d74579.png

以上思路的主要转变是将域数据产品视为首要关注点,将数据湖工具和管道视为次之关注点。这将当前的架构模式从集中式数据湖转变为可以很好地协同工作的数据产品生态系统,即数据网格。

同样的原则也适用于用于业务报告和可视化的数据仓库。它只是网格上的一个节点,并且可能位于网格的面向消费者的边缘上。

尽管数据网格实践被应用在有些客户中,但企业规模性的采用仍有很长的路要走。这并不是技术的限制,我们今天使用的所有工具都可以适应多个团队的分发和所有权。特别是向批处理和流的统一以及ApacheBeam等工具的转变,很容易允许处理可寻址的多语言数据集。组织中的工程师和领导者应该意识到,现有的大数据模式和大数据平台或数据湖,管理和应用不善可能会重复过去的失败。



相关文章
|
6天前
|
运维 监控 Cloud Native
江帅帅:一盏茶的时间初探网格服务架构 Istio
江帅帅:一盏茶的时间初探网格服务架构 Istio
24 0
|
6天前
|
存储 数据采集 大数据
Data Lake架构揭秘
Data Lake架构揭秘
37 0
|
6天前
|
存储 SQL 机器学习/深度学习
通用数据湖仓一体架构正当时
通用数据湖仓一体架构正当时
77 2
|
11月前
|
存储 数据采集 分布式计算
数据湖架构的优势与挑战:数据存储和分析策略
随着大数据时代的到来,数据湖架构逐渐成为许多企业进行数据存储和分析的首选方案。数据湖是一种用于存储大量原始和结构化数据的中心化存储库。在本文中,我们将深入探讨数据湖架构的优势和挑战,并介绍一些常见的数据存储和分析策略。
349 0
|
12月前
|
存储 分布式计算 数据挖掘
【数据湖仓架构】数据湖和仓库:Databricks 和 Snowflake
【数据湖仓架构】数据湖和仓库:Databricks 和 Snowflake
|
12月前
|
SQL 存储 分布式计算
【数据湖仓架构】数据湖和仓库:Azure Synapse 视角
【数据湖仓架构】数据湖和仓库:Azure Synapse 视角
|
12月前
|
存储 SQL 数据挖掘
【数据湖仓架构】数据湖和仓库:范式简介
【数据湖仓架构】数据湖和仓库:范式简介
|
12月前
|
存储 传感器 SQL
【数据湖架构】Azure Data Lake数据湖指南(下)
【数据湖架构】Azure Data Lake数据湖指南
|
1天前
|
运维 监控 负载均衡
探索微服务架构下的服务网格
【5月更文挑战第20天】 在当今日益复杂的分布式系统中,微服务架构已成为企业技术栈的重要组成部分。随着微服务数量的膨胀和网络通信的复杂化,传统的服务发现与负载均衡机制显得力不从心。本文将深入探讨服务网格这一新兴模式,它如何在微服务环境中提供更灵活、动态且高效的服务间通信解决方案。我们将剖析服务网格的核心组件、工作原理以及它如何简化分布式系统的运维难题。
|
1天前
|
消息中间件 持续交付 开发者
构建高效微服务架构:后端开发的新趋势
【5月更文挑战第20天】 随着现代软件开发的复杂性日益增加,传统的单体应用架构逐渐显得笨重且难以适应快速变化的市场需求。微服务架构作为解决方案,以其灵活性、可扩展性和技术多样性受到青睐。本文将深入探讨微服务架构的核心概念,设计原则,以及如何通过最佳实践来构建和维护一个高效的微服务体系结构。我们将讨论关键的后端技术栈选择,服务划分策略,数据管理,以及持续集成与部署(CI/CD)流程的重要性。文章旨在为后端开发者提供一套实用的指南和思考框架,以支持他们在未来的软件项目中采用微服务架构。