开发者社区 > 大数据与机器学习 > 正文

Flink CDC目前社区2.3版本的Debezium 是1.6.4.Final 没有考虑升级到5?

Flink CDC目前社区2.3版本的Debezium 是1.6.4.Final 没有考虑升级到5.1.2.Final 嘛 开启全量snapshot的时候如果locking.mode不加锁 开启snapsht的一致性事务与查询当前binlog位置并且保存 如果有write行为,就会导致数据丢失或者重复?已经设置可重复读+开启事务保证一致性

展开
收起
cuicuicuic 2023-05-22 18:47:02 627 0
1 条回答
写回答
取消 提交回答
  • Debezium 5.1.2.Final 版本已经修复了这个问题image.png debezium master的代码 感觉要改改debezium了 版本更新之后有些问题就出现了,flinkx人家直接用LogMinder去解析归档日志 就没那么多事 closeResource都是自己做的,flink-cdc2.2的oracle-cdc用的就是debezium1.5.x没有发生问题,可能2.3有些特性需要用到1.6.4里面的处理功能 需要再看看,此回答整理自钉群“Flink CDC 社区”

    2023-05-22 18:53:19
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载