Flink CDC 你好 ”丢数据“ 这个在什么场景下会丢,能否分享下。 这个是删除最新的归档?

Flink CDC 你好 ”丢数据“ 这个在什么场景下会丢,能否分享下。 这个是删除最新的归档日志才会出现的吧中我们这边 有个场景就是每天会莫名的丢个几条数据。没有删除最新归档日志,怎么办?

展开
收起
真的很搞笑 2023-05-28 21:03:18 199 分享 版权
1 条回答
写回答
取消 提交回答
  • 如果归档日志没有删除的话通过savepoint启动,scn点位还在的话是不会丢的。归档删除,或者无法从scn点位启动,就会丢数据,归档太大的话,解析不过来,chunjun的LogMinerHelper#loadData你可以看看 如果没有加载了redoLog就通过多线程读取v$logmnr_contents 数据由线程池加载 解析Logminder的核心类是LogMinerListener和LogMinerHelper,debezium的工程里也有对应类 只不過chunjun的話,在每次查询currentSCN的时候会基于lock table语义锁表 处理完再释放 (oracleFullSyncOperation方法) 你可以看看是否合适image.png ,此回答整理自钉群“Flink CDC 社区”

    2023-05-28 21:07:45
    赞同 展开评论

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

还有其他疑问?
咨询AI助理