数据仓库搭建心得(2)

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 数仓、大数据与传统数据库的区别

数据仓库与大数据区别,数据仓库与数据库的区别,大数据与传统数据库的区别等等,这篇文章带你了解。

  我们这里先来说说今天要对比的三个主体,数据仓库、大数据、数据库,在详细说明之前,我们先来说说这三个百度百科上面的定义。

数据仓库:为企业所有级别的决策制定过程,提供所有类型数据支持的战略(数据)集合。
大数据:所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
传统数据库:一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。

  其实从三个定义,我们好像区别不大。

  数据库指的是数据的集合,数据仓库也是一个数据集合,大数据也是一个处理和存储数据的地方。

  但是不同的是,在于应用场景,和构建的技术原理不一样。

  传统数据库是存储根据范式建模的关系型数据,主要用于OLTP(on-line transaction processing)翻译为联机事务处理的软件。大数据是根据map redurce范式构建的出局处理,存储的软件,主要用于OLAP是做分析处理。大数据和传统数据库,还有一个更大的区别在于,处理的数据量以及计算量的大小,当传统数据库,无法在人可以接受的短时间内计算出结果,那这个数据就叫大数据,需要使用到大数据技术处理。而数据仓库本质上是一种数据的处理方式,而不是一种基础软件,它可以依赖于传统数据库,也可以依赖大数据技术去构建。

图片.png

这个扩展一下数据仓库与传统数据库应用的区别,有下面几点:

用途:传统数据库主要用于OLTP(on-line transaction processing)翻译为联机事务处理,即即时的系统交互,数据仓库主要用于OLAP(On-Line Analytical Processing)翻译为联机分析处理,从字面上来看OLTP是做事务处理,OLAP是做分析处理。从对数据库操作来看,OLTP主要是对数据的增删改,OLAP是对数据的查询。
建模:传统数据库主要使用范式建模,数据仓库可以根据需要采用范式建模或者现在互联网普遍使用的星形模型等。
使用技术:一般使用mysql等关系型数据库,数据仓库目前互联网行业更多的是使用hadoop等大数据技术,也有使用mysql等,可以根据实际情况搭建。
存储的数据:传统数据库只存储当前状态的数据,数据仓库需要存储历史状态的数据,用户对历史数据的回溯分析。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
7月前
|
存储 关系型数据库 MySQL
数据仓库设计
数据仓库设计
107 3
|
5月前
|
存储 数据采集 数据可视化
|
7月前
|
存储 关系型数据库 OLAP
【数据仓库与联机分析处理】数据仓库
【数据仓库与联机分析处理】数据仓库
60 2
|
监控 大数据 领域建模
如何搭建一个数据仓库
如何搭建一个数据仓库
|
分布式计算 运维 Hadoop
数据仓库搭建
数据仓库搭建
203 0
|
关系型数据库 MySQL 开发工具
|
消息中间件 数据采集 JSON
数据仓库实战 2
数据仓库实战 2
137 0
|
SQL 数据采集 存储
数据仓库实战 1
数据仓库实战 1
203 0
|
数据库