开发者社区 > 大数据与机器学习 > 实时数仓 Hologres > 正文

Hologres分区表支持实时同步Binlog吗?

Hologres分区表支持实时同步Binlog吗?对 flink 读取Hologres 分区表,现在现象是全量数据可以读取到,增量数据获取不到

展开
收起
cuicuicuic 2023-12-10 17:49:21 43 0
2 条回答
写回答
取消 提交回答
  • 不支持开启分区表父表的Binlog,请使用非分区表。
    详见:
    https://help.aliyun.com/zh/flink/developer-reference/realtime-compute-real-time-consumption-of-hologres-in-flink?spm=a2c4g.11186623.0.i83 ,此回答整理自钉群“实时数仓Hologres交流群”

    2023-12-11 22:33:19
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Hologres分区表支持实时同步Binlog,但是需要注意的是,在FHologres分区表支持实时同步Binlog,但是需要注意的是,在Flink中读取Hologres分区表时,增量数据获取不到的原因可能是由于Flink消费Binlog的方式与Hologres的实现方式不兼容导致的。

    具体来说,当使用Flink消费Binlog时,需要指定正确的Binlog格式和位置点,以便正确地解析和处理增量数据。如果指定的Binlog格式或位置点不正确,可能会导致Flink无法正确解析和处理增量数据,从而导致增量数据获取不到的问题。此外,还需要确保Flink的消费速度能够跟上Hologres的写入速度,以避免出现数据丢失的情况。

    2023-12-11 13:18:51
    赞同 展开评论 打赏

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

相关产品

  • 实时数仓 Hologres
  • 相关电子书

    更多
    实时数仓Workshop(广州站)- 余文兵 立即下载
    实时数仓Workshop(广州站)- 李佳林 立即下载
    PolarDB-X 2.0 全局 Binlog 与备份恢复能 立即下载