开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

实时离线一体化数仓架构是什么?

已解决

实时离线一体化数仓架构是什么?

展开
收起
游客lmkkns5ck6auu 2022-09-14 18:25:55 414 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    从架构来看,化繁为简之后的架构从左到右,可以直接通过 Datahub 数据总线把数 据写入到 MaxCompute,也通过实时计算(实时计算 Flink 版)消费数据总线 (DataHub)实时数据写入 Hologres 提供分析服务。这一套架构有两条链路,如果 业务响应时间要求非常高,可以走实时数仓链路,Datahub 数据通过 Flink 完成实 时数据计算写入实时数仓 Hologres,提供数据给数据产品或者是实时大屏。

    如果对业务响应时间要求不高的,可以通过 Datahub 直接写入数据到 MaxCompute。 在实时计算 Flink 消费实时在线数据时,也有不同的计算指标需要呈现到离线数仓 MaxCompute 中和一些数据做聚合计算,可以通过 Hologres 直读的方式读取到 MaxCompute 聚合后的数据。通过 Hologres 对外提供在线数据分析服务能力,底 层数据可以是 Hologres 中的数据,也可以是 MaxCompute 中的数据。当前架构主 要体现出的是实时离线一体化,但湖仓一体是在这一套架构中,不管是离线数仓还 是实时数仓都可以跟数据湖中的数据互通。

    以上内容摘自《阿里云云原生一体化数仓新能力解读》电子书,点击https://developer.aliyun.com/ebook/download/7725 可下载完整版

    2022-09-14 22:51:06
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
基于云原生数据仓库AnalyticDB PG的最佳实践 立即下载
新氧云原生全栈数仓最佳实践 立即下载
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进 立即下载