Flink CDC 你好 ”丢数据“ 这个在什么场景下会丢,能否分享下。 这个是删除最新的归档日志才会出现的吧中我们这边 有个场景就是每天会莫名的丢个几条数据。没有删除最新归档日志,怎么办?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
如果归档日志没有删除的话通过savepoint启动,scn点位还在的话是不会丢的。归档删除,或者无法从scn点位启动,就会丢数据,归档太大的话,解析不过来,chunjun的LogMinerHelper#loadData你可以看看 如果没有加载了redoLog就通过多线程读取v$logmnr_contents 数据由线程池加载 解析Logminder的核心类是LogMinerListener和LogMinerHelper,debezium的工程里也有对应类 只不過chunjun的話,在每次查询currentSCN的时候会基于lock table语义锁表 处理完再释放 (oracleFullSyncOperation方法) 你可以看看是否合适
,此回答整理自钉群“Flink CDC 社区”