开发者社区> 问答> 正文

Flink CDC 在并行读取全量和增量数据时面临的主要挑战是什么?

Flink CDC 在并行读取全量和增量数据时面临的主要挑战是什么?

展开
收起
花开富贵111 2024-08-19 14:43:02 7 0
1 条回答
写回答
取消 提交回答
  • Flink CDC 在并行读取全量和增量数据时面临的主要挑战是数据冲突和数据顺序问题。具体来说,可能会存在数据多取导致的数据重复问题,以及全量和增量数据在不同线程或JVM中处理,导致同一主键ID到达下游的先后顺序不符合历史顺序,与核心需求不符。

    2024-08-19 16:15:50
    赞同 5 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载