开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink这个要怎么处理?

我在做pg库同步数据到mongo,每次启动flink的时候,都从新把历史操作日志都消费一遍,不是从断点开始消费,Flink这个要怎么处理?flink 1.17.2 flink-connector-postgres-cdc 2.4.2PostgreSQL 版本14 lQLPJw0xtiM1mNvNBATNBoywZBb0QfRrknUGc3mmwfUkAA_1676_1028.png
lQLPJwfoYi7eu1vNAbzNC2iwqH5OWzIYJP4Gc3vfz2QfAA_2920_444.png

展开
收起
三分钟热度的鱼 2024-07-10 23:46:02 21 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    设置的 scan.startup.mode 应该为 initial 或 latest-offset。initial 模式会从最早的日志开始读取,而 latest-offset 会从最新的日志开始读取。

    properties.setProperty("scan.startup.mode", "initial");
    从检查点恢复,snapshot.mode 应该设置为 initial 或 when_needed 而不是 never。
    properties.setProperty("snapshot.mode", "initial");

    2024-07-11 08:50:51
    赞同 7 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载