Flink CDC在使用oracle cdc监控数据库,系统打印LogMiner is now using the maximum batch size 100000....,继而无法监控数据变更,除了调大log.mining.batch. size.max参数设置,还有其他办法么? 这个过程中缺失的数据有啥办法能重新捕获到嘛?
除了调大log.mining.batch.size.max参数设置,还可以尝试以下方法:
检查Oracle数据库的归档日志模式是否开启。如果没有开启,需要先开启归档日志模式。可以通过以下命令查看和设置归档日志模式:
查看归档日志模式:
SHOW PARAMETER log_archive_dest;
开启归档日志模式:
ALTER DATABASE ARCHIVELOG;
检查Flink CDC的Debezium连接器配置是否正确。确保已经正确配置了Oracle数据库的连接信息、schema列表等。可以参考官方文档进行配置:https://debezium.io/documentation/reference/stable/connectors/oracle.html
如果缺失的数据已经无法重新捕获到,可以考虑使用第三方工具(如GoldenGate、DataSync等)进行数据同步,将缺失的数据从其他时间点同步过来。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。