开发者社区> 问答> 正文

Flink CDC 2.0 是如何实现全量与增量数据的自动切换的?

Flink CDC 2.0 是如何实现全量与增量数据的自动切换的?

展开
收起
花开富贵111 2024-08-19 11:35:46 66 0
1 条回答
写回答
取消 提交回答
  • Flink CDC 2.0 基于 FLIP-27 实现全量与增量数据的自动切换。它首先通过 Enumerator 将全量数据拆分成多个 SnapshotSplit,并发送给 SourceReader 执行全量数据的读取和修正,以保证数据一致性。当全量数据读取完毕后,Enumerator 会根据已完成的 split 信息构造一个 BinlogSplit,并发送给 SourceReader 执行增量日志数据的读取。image.png

    2024-08-19 16:15:49
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载