Flink CDC里,snapshot版本是否保证checkpoint的兼容性?

Flink CDC里,我从2.3的snapshot版本升级到2.3发行版 同步binlog发现无法从checkpoint恢复 会有空指针错误 想请问下这个snapshot版本是否保证checkpoint的兼容性?

展开
收起
wenti 2023-01-08 19:51:04 201 分享 版权
1 条回答
写回答
取消 提交回答
  • 是的,Flink CDC 中的快照版本保证了 Checkpoint 的兼容性。

    Flink CDC 使用一种称为 binlog checkpointing 的机制来确保 Checkpoint 的兼容性。

    当 Flink CDC 作业执行 Checkpoint 时,它会记录以下信息:

    当前处理的 binlog 偏移量
    当前处理的 transaction ID (TID)
    在恢复 Checkpoint 时,Flink CDC 会从记录的 binlog 偏移量和 TID 重新启动,并使用快照版本来确保数据一致性。

    2024-02-23 16:12:44
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理