【大数据环境准备】(十)数仓分层业务选型

简介: 数仓分层业务选型

ODS:

Kafka

DIM:维度&明细

✅HBASE:海量数据永久存储,根据主键快速查询

❎Redis :用户表数据量大,内存数据库费用高

❎ClickHouse: 并发不行,列存

❎ES:默认给所有字段字段创建索引划词

❎Hive(HDFS):效率低下

✅Mysql: 压力太大,用从库

DWD:

读取并分组累加处理

Kafka

DWS: 宽表

用户、省份、商品 GMV | 累加处理,聚合操作

ClickHouse 列存

ADS:

用户GMV

省份GMV

省份、商品GMV

Mysql

有事实表分为三种类型 : 事务事实表、周期快照事实表和累积快照事实表。
//todo

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
1月前
|
Cloud Native OLAP OLTP
在业务处理分析一体化的背景下,开发者如何平衡OLTP和OLAP数据库的技术需求与选型?
在业务处理分析一体化的背景下,开发者如何平衡OLTP和OLAP数据库的技术需求与选型?
128 4
|
1月前
|
存储 JSON 大数据
大数据离线数仓---金融审批数仓
大数据离线数仓---金融审批数仓
133 1
|
4月前
|
SQL Oracle 物联网
助力工业物联网,工业大数据之数仓维度层DWS层构建【十二】
助力工业物联网,工业大数据之数仓维度层DWS层构建【十二】
47 0
|
4月前
|
SQL 分布式计算 数据可视化
滴滴出行大数据数仓实战
滴滴出行大数据数仓实战
124 0
滴滴出行大数据数仓实战
|
1月前
|
分布式计算 大数据 Hadoop
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。
253 2
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
|
2月前
|
SQL 分布式计算 数据库
离线数仓--大数据技术之DolphinScheduler
离线数仓--大数据技术之DolphinScheduler
154 2
|
3月前
|
缓存 Java 大数据
CDH大数据环境参数优化指南
CDH大数据环境参数优化指南
|
3月前
|
存储 分布式计算 数据挖掘
数仓分层架构
数仓分层架构
79 0
|
4月前
|
SQL 存储 分布式计算
助力工业物联网,工业大数据之数仓事实层DWB层构建【十七】
助力工业物联网,工业大数据之数仓事实层DWB层构建【十七】
39 0
助力工业物联网,工业大数据之数仓事实层DWB层构建【十七】
|
4月前
|
SQL 分布式计算 Hadoop
最新大数据集群安装方法CentOS7.6__大数据环境安装和配置
最新大数据集群安装方法CentOS7.6__大数据环境安装和配置
147 0

热门文章

最新文章