Flink CDC中oracle cdc遇到一个问题,作业跑着提示The connector is now using the maximum batch size is 100000 when querying the LohMiner view ,This could be indicative of large SCN gaps 设置了debezium.log.mining.batch. size.max后没生效,数据还是无法同步,问下这个怎么处理呀?
这个问题可能是由于Flink CDC在查询LohMiner视图时,使用的批处理大小达到了这个问题可能是由于Flink CDC在查询LohMiner视图时,使用的批处理大小达到了最大值100000,这可能表明存在较大的SCN间隙。尽管您已经设置了debezium.log.mining.batch.size.max参数,但数据仍然无法同步。
为了解决这个问题,您可以尝试以下方法:
debezium.log.mining.batch.size.max=200000
检查您的Oracle数据库和Flink集群之间的网络连接是否稳定。不稳定的网络连接可能导致数据传输延迟,从而影响SCN间隙。
检查您的Oracle数据库的日志文件是否包含足够的信息以供Flink CDC使用。如果日志文件中的信息不足,可能会导致SCN间隙较大。在这种情况下,您可能需要调整Oracle数据库的日志记录设置,以便为Flink CDC提供更多详细信息。
如果问题仍然存在,您可以考虑使用其他源连接器(如Debezium MySQL Connector)来捕获Oracle数据库的变化数据。这样,您可以避免SCN间隙的问题,并确保数据同步顺利进行。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。