数据湖vs数据仓库vs数据集市

简介: 数据湖vs数据仓库vs数据集市

数据湖、数据仓库、数据集市,这三个概念都是干什么的,有什么区别呢?这边文章可以为你解释下他们的异同。

数据湖

数据湖里存放了公司来自各个业务系统的数据,包括结构化数据、非结构化数据(比如日志、邮件、音频等),这些数据完全没有经过清洗,原始系统什么样,在数据湖中就怎样存储。

什么时候使用数据湖

公司业务数据非常多,需要廉价的存储来存储所有的数据。

公司非常想挖掘现有和历史的业务数据,但是还没有详细的规划如何分析。所以需要先保存数据,在考虑以后的分析,毕竟对于很多公司来说,数据就是巨大的资产。

数据仓库

数据仓库汇总有可能有很多维度数据的统计分析结果,取百家之长(各个数据源的数据),成就自己的一方天地(规划各种业务域的模型,指标)。

关于数据仓库的详细介绍可参考之前的一篇文章:数据分析师应该了解的数据仓库(1)

数据湖和数据仓库如何选择

如果您目前已经拥有完善的数据仓库,当然不建议删除它重新开始。但是,建议你在建设数据仓库的同时,实施一个数据湖。数据仓库可以继续照常运行,开始用新的数据源填充数据湖,可以将其用于收集所有业务系统数据,然后进行向下建设,沉淀部分数据到数据仓库。

关于数据湖和数据仓库的区别可以参考上一篇文章:数据分析师应该了解的数据湖

数据集市

简单来说,数据集市是数据仓库的一个子部分,专门为特定部门/业务功能设计和构建的。

为什么选择数据集市

数据安全性:由于数据集市仅包含特定于该部门的数据,因此可以确保没有物理上的意外数据访问(比如财务数据等)。

高性能:由于每个数据集市仅用于特定部门,因此通过数据集市性能负载在部门内部得到了很好的管理,不会影响其他集市的分析工作。

数据集市类型

从属数据集市,从现有数据仓库构建从属数据集市。采用自上而下的方法,将所有业务数据存储在一个集中的数据集市,然后在根据需求进行分析。

独立数据集市,独立数据集市是一个独立系统,无需使用数据仓库即可创建,并且专注于一个业务功能。数据从内部或外部数据源中获取,经过精炼,然后加载到数据集市,直到业务分析结束为止。

混合数据集市,混合数据集市集成了来自当前数据仓库和其他运营源系统的数据。它结合自下而上方法,帮助企业集成数据集市。

数据集市和数据仓库的区别

所以,对于大型企业来说,数据湖,数据仓库,数据集市都是共存的,针对不同的用户和部分使用。

拓展:

你们公司是如何保存使用数据的?

数据集市你认为有必要建立吗?

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
4月前
|
存储 SQL 机器学习/深度学习
一文辨析:数据仓库、数据湖、湖仓一体
本文深入解析数据仓库、数据湖与湖仓一体的技术原理与适用场景。数据仓库结构严谨、查询高效,适合处理结构化数据;数据湖灵活开放,支持多模态数据,但治理难度高;湖仓一体融合两者优势,实现低成本存储与高效分析,适合大规模数据场景。文章结合企业实际需求,探讨如何选择合适的数据架构,并提供湖仓一体的落地迁移策略,助力企业提升数据价值。
一文辨析:数据仓库、数据湖、湖仓一体
|
4月前
|
存储 机器学习/深度学习 数据采集
数据湖 vs 数据仓库:大厂为何总爱“湖仓并用”?
数据湖与数据仓库各有优劣,湖仓一体架构成为趋势。本文解析二者核心差异、适用场景及治理方案,助你选型落地。
数据湖 vs 数据仓库:大厂为何总爱“湖仓并用”?
|
4月前
|
存储 分布式计算 数据库
数据湖技术选型指南:Iceberg vs Delta Lake vs Paimon
对比当前最主流的三种开源湖格式:Iceberg、Delta Lake 和 Paimon,深入分析它们的差异,帮助大家更好地进行技术选型。
1067 4
|
4月前
|
存储 机器学习/深度学习 数据采集
一文讲透数据仓库、数据湖、数据海的区别
企业常因数据架构不清导致报表延迟、数据矛盾、利用困难。核心解法是构建数据仓库(高效分析)、数据湖(灵活存储原始数据)和数据海(全局集成)。三者各有适用场景,需根据业务需求选择,常共存互补,助力数据驱动决策。
一文讲透数据仓库、数据湖、数据海的区别
|
5月前
|
存储 传感器 数据管理
数据仓库、数据集市、数据湖、数据海,到底有啥区别?
本文深入解析了“数据仓库、数据集市、数据湖、数据海”的核心区别与应用场景,帮助企业理解不同数据平台的设计理念与适用范围。从支持决策分析的数据仓库,到面向业务部门的数据集市,再到存储多样化数据的数据湖,以及实现跨组织协作的数据海,四者构成企业数据能力由浅入深的发展路径。文章结合实际业务场景,提供选型建议,助力企业在不同发展阶段合理构建数据体系,挖掘数据价值。
数据仓库、数据集市、数据湖、数据海,到底有啥区别?
|
10月前
|
存储 机器学习/深度学习 数据挖掘
数据湖 vs 数据仓库:你家到底该买冰箱还是建个地下室?
数据湖 vs 数据仓库:你家到底该买冰箱还是建个地下室?
1450 17
|
11月前
|
存储 机器学习/深度学习 数据挖掘
数据湖与数据仓库:初学者的指南
数据湖与数据仓库:初学者的指南
854 4
|
存储 分布式计算 大数据
大数据揭秘:从数据湖到数据仓库的全面解析
大数据揭秘:从数据湖到数据仓库的全面解析
384 19
|
存储 数据采集 数据挖掘
数据仓库VS数据湖:选择正确的数据存储解决方案
【8月更文挑战第23天】企业在选择数据存储解决方案时,应综合考虑业务需求、数据特性、技术实力及成本效益等多方面因素,以做出最符合自身发展的决策。
1399 2
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样

热门文章

最新文章