Hologres的mc 离线数据 和 Flink 的实时数据合并有好的方案吗, 还有 mc 同步 holo 有增量方案吗?
Hologres与Flink可以深度集成,实现实时数据合并。首先,Flink将数据源写入Hologres,形成ODS层。然后,Flink订阅ODS层的Binlog进行加工,形成DWD层再次写入Hologres。接着,Flink订阅DWD层的Binlog,通过计算形成DWS层,再次写入Hologres。这种方式的优势在于它解决了传统实时数仓解决方案的中间层数据不易查、不易更新、不易修正的问题,并且每一层数据都可单独对外提供服务,数据的高效复用,真正实现了数仓分层复用的目标。此外,无论是实时数据还是离线数据接入Hologres之后,都能使用Hologres对数据进行分析。
对于Hologres mc的同步增量方案,你可以选择全量同步或增量同步。如果你需要进行一次性全量或周期性全量同步,你需要勾选全量同步。如果你需要进行一次性增量或周期性增量同步,你需要勾选增量同步。此外,还支持先进行全量数据迁移,然后再实时同步增量数据至目标端,以及单独进行实时增量数据同步。在同步过程中,需要注意MaxCompute的分区与Hologres无强映射关系,MaxCompute的分区字段映射至Hologres为普通字段。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975