Flink CDC中oracle cdc遇到一个问题,作业跑着提示The connector is now using the maximum batch size is 100000 when querying the LohMiner view ,This could be indicative of large SCN gaps 设置了debezium.log.mining.batch. size.max后没生效,数据还是无法同步,问下这个怎么处理呀?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
这个问题可能是由于Flink CDC在查询LohMiner视图时,使用的批处理大小达到了这个问题可能是由于Flink CDC在查询LohMiner视图时,使用的批处理大小达到了最大值100000,这可能表明存在较大的SCN间隙。尽管您已经设置了debezium.log.mining.batch.size.max参数,但数据仍然无法同步。
为了解决这个问题,您可以尝试以下方法:
debezium.log.mining.batch.size.max=200000
检查您的Oracle数据库和Flink集群之间的网络连接是否稳定。不稳定的网络连接可能导致数据传输延迟,从而影响SCN间隙。
检查您的Oracle数据库的日志文件是否包含足够的信息以供Flink CDC使用。如果日志文件中的信息不足,可能会导致SCN间隙较大。在这种情况下,您可能需要调整Oracle数据库的日志记录设置,以便为Flink CDC提供更多详细信息。
如果问题仍然存在,您可以考虑使用其他源连接器(如Debezium MySQL Connector)来捕获Oracle数据库的变化数据。这样,您可以避免SCN间隙的问题,并确保数据同步顺利进行。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。