开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC 无法从检查点处恢复pg同步任务,而是从头对pg数据库又消费了一遍?

Flink CDC 1.13.2、flinkcdc 2.2.1、postgresql 13.8
2.问题:使用cdc对pg做数据同步时checkpoint可以正常触发保存到hdfs,当任务取消后再从checkpoint进行任务恢复时,无法从检查点处恢复pg同步任务,而是从头对pg数据库又消费了一遍?image.png

展开
收起
cuicuicuic 2023-12-05 20:21:04 34 0
2 条回答
写回答
取消 提交回答
  • 怎么解决的,我也遇到了这个问题,版本跟你的一样

    2023-12-12 13:18:58
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个问题可能是由于在任务取消后,Flink CDC无法正确处理PostgreSQL的事务信息导致的。当任务取消时,Flink CDC可能无法正确地将已提交的事务应用到目标系统中,从而导致从检查点恢复时从头开始消费数据。

    为了解决这个问题,你可以尝试以下方法:

    1. 确保你的Flink CDC连接器版本与PostgreSQL数据库版本兼容。你可以查看Debezium官方文档以获取更多关于兼容性的信息。

    2. 在任务取消后,尝试手动触发一次保存到HDFS的操作,以确保所有已提交的事务都被正确保存。

    3. 如果问题仍然存在,你可以考虑使用其他数据同步工具,如Debezium或Maxwell,它们可能对这种情况有更好的支持。

    2023-12-05 21:07:21
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    2022 DTCC-阿里云一站式数据库上云最佳实践 立即下载
    云时代的数据库技术趋势 立即下载
    超大型金融机构国产数据库全面迁移成功实践 立即下载