从架构来看,化繁为简之后的架构从左到右,可以直接通过 Datahub 数据总线把数 据写入到 MaxCompute,也通过实时计算(实时计算 Flink 版)消费数据总线 (DataHub)实时数据写入 Hologres 提供分析服务。这一套架构有两条链路,如果 业务响应时间要求非常高,可以走实时数仓链路,Datahub 数据通过 Flink 完成实 时数据计算写入实时数仓 Hologres,提供数据给数据产品或者是实时大屏。
如果对业务响应时间要求不高的,可以通过 Datahub 直接写入数据到 MaxCompute。 在实时计算 Flink 消费实时在线数据时,也有不同的计算指标需要呈现到离线数仓 MaxCompute 中和一些数据做聚合计算,可以通过 Hologres 直读的方式读取到 MaxCompute 聚合后的数据。通过 Hologres 对外提供在线数据分析服务能力,底 层数据可以是 Hologres 中的数据,也可以是 MaxCompute 中的数据。当前架构主 要体现出的是实时离线一体化,但湖仓一体是在这一套架构中,不管是离线数仓还 是实时数仓都可以跟数据湖中的数据互通。
以上内容摘自《阿里云云原生一体化数仓新能力解读》电子书,点击https://developer.aliyun.com/ebook/download/7725 可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。