开发者社区 > 大数据与机器学习 > 实时数仓 Hologres > 正文

Hologres还会丢binlog 吗?

Hologres还会丢binlog 吗?

展开
收起
cuicuicuic 2024-02-06 08:36:14 33 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Hologres在某些情况下可能会丢失Binlog

    在处理数据流的过程中,特别是在使用Binlog进行数据同步时,可能会遇到一些导致数据丢失的情况。例如,如果使用的是Blink任务消费Hologres的Binlog,并且遇到了数据丢失的问题,可能需要检查几个方面:

    • Blink任务是否正常工作:通过添加print sink表并打印日志来确认Blink任务是否正常运行,以及是否接收到了数据。
    • Binlog是否正确开启:确保Hologres端的Binlog功能已经正确开启,并通过查询Binlog来排查是否有收到消息。
    • 是否存在删除操作:针对丢失的数据查询Binlog,查看最后的操作是否为删除操作,如果是,可能需要在Blink任务中添加参数'ignoredelete'='true'来忽略这些删除操作。

    此外,还有一些已知的限制和问题可能会影响到Binlog的消费,比如:

    • 版本问题:如果使用的是只读从实例,并且该DB是第一次被消费Binlog,在旧版本的Hologres中可能会出现hologres.hg_replication_progress表创建失败的问题。这个问题在Hologres V2.0.18版本起已修复。
    • 数据类型支持:Blink消费Hologres Binlog暂不支持Hologres的TIMESTAMP类型,建议使用TIMESTAMPTZ类型。同时也不支持SMALLINT等特殊类型,以及不支持消费分区表的父表。

    总的来说,为了避免Binlog丢失,需要确保所有相关的系统和配置都按照最佳实践进行设置,并且在遇到问题时及时检查和调整。如果问题依然存在,建议联系技术支持寻求帮助。

    2024-02-06 17:35:47
    赞同 展开评论 打赏

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

相关产品

  • 实时数仓 Hologres
  • 相关电子书

    更多
    实时数仓Workshop(广州站)- 李佳林 立即下载
    阿里云实时数仓Hologres技术揭秘2.0 立即下载
    实时数仓Hologres技术实战一本通2.0版(下) 立即下载