开发者社区> 问答> 正文

实时数仓架构设计思路是什么?

实时数仓架构设计思路是什么?

展开
收起
xin在这 2021-12-09 23:00:44 329 0
1 条回答
写回答
取消 提交回答
  • 是否数据集成流批一体:离线与实时是否使用统一数据采集方式;如统一通过 CDC 或者 OGG 将数据实时捕获推送到 kafka,批与流在从 kafka 中消费数据,载入明细层。

    是否存储层流批一体:离线与实时数据是否统一分层、统一存储;如离线与实时数据经过 ETL 处理之后根据统一分层(ODS、DMD、DMS)持久化到同一个数据存储中。

    是否 ETL 逻辑流批一体:流与批处理是否使用统一 SQL 语法或者 ETL 组件,再通过底层分别适配流与批计算引擎。

    是否 ETL 计算引擎流批一体:流与批使用同一套计算引擎,从根本上避免同一个处理逻辑流批两套代码问题。

    2021-12-09 23:01:19
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
凡普实时数据处理架构 立即下载
超大规模实时数仓架构挑战与实践解析 立即下载
基于流计算构建实时大数据处理系统 立即下载