文章目录
一、前言
二、实时数仓建设目的
三、实时数仓的应用场景
四、如何建设实时数仓
4.1 实时数仓的整体的架构图
4.2 ODS层的建设
4.3 DW层的建设
4.4 实时数仓维度数据建设
4.5 实时数仓维度的使用
4.6 实时数仓汇总层的建设
五、仓库的质量保证
一、前言
本文是学习Flink社区在B站的实时数仓篇第一节课程的总结，1. Flink 实时数仓的应用
讲师：黄伟伦（美团点评 数据系统研发工程师）。
二、实时数仓建设目的
三、实时数仓的应用场景
四、如何建设实时数仓
4.1 实时数仓的整体的架构图
- 数仓层次更少
尽量减少层次的划分，应用层数据直接写入应用数据库，仓库内不维护应用层。
- 多种数据源存储
实时数仓使用Kafka存储明细与数据汇总数据，Tair、Hbase等缓存存储维度数据。
4.2 ODS层的建设
- 数据来源尽可能统一
- 利用分区保证数据局部有序
