ODS:
Kafka
DIM:维度&明细
✅HBASE:海量数据永久存储,根据主键快速查询
❎Redis :用户表数据量大,内存数据库费用高
❎ClickHouse: 并发不行,列存
❎ES:默认给所有字段字段创建索引划词
❎Hive(HDFS):效率低下
✅Mysql: 压力太大,用从库
DWD:
读取并分组累加处理
Kafka
DWS: 宽表
用户、省份、商品 GMV | 累加处理,聚合操作
ClickHouse 列存
ADS:
用户GMV
省份GMV
省份、商品GMV
Mysql
有事实表分为三种类型 : 事务事实表、周期快照事实表和累积快照事实表。
//todo