开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中oracle cdc遇到一个问题,数据还是无法同步,问下这个怎么处理呀?

Flink CDC中oracle cdc遇到一个问题,作业跑着提示The connector is now using the maximum batch size is 100000 when querying the LohMiner view ,This could be indicative of large SCN gaps 设置了debezium.log.mining.batch. size.max后没生效,数据还是无法同步,问下这个怎么处理呀?

展开
收起
真的很搞笑 2023-11-07 19:30:52 294 0
1 条回答
写回答
取消 提交回答
  • 这个问题可能是由于Flink CDC在查询LohMiner视图时,使用的批处理大小达到了这个问题可能是由于Flink CDC在查询LohMiner视图时,使用的批处理大小达到了最大值100000,这可能表明存在较大的SCN间隙。尽管您已经设置了debezium.log.mining.batch.size.max参数,但数据仍然无法同步。

    为了解决这个问题,您可以尝试以下方法:

    1. 增加debezium.log.mining.batch.size.max的值。这将允许更大的批处理大小,从而减少SCN间隙的影响。例如,将该值设置为200000或更高。
    debezium.log.mining.batch.size.max=200000
    
    1. 检查您的Oracle数据库和Flink集群之间的网络连接是否稳定。不稳定的网络连接可能导致数据传输延迟,从而影响SCN间隙。

    2. 检查您的Oracle数据库的日志文件是否包含足够的信息以供Flink CDC使用。如果日志文件中的信息不足,可能会导致SCN间隙较大。在这种情况下,您可能需要调整Oracle数据库的日志记录设置,以便为Flink CDC提供更多详细信息。

    3. 如果问题仍然存在,您可以考虑使用其他源连接器(如Debezium MySQL Connector)来捕获Oracle数据库的变化数据。这样,您可以避免SCN间隙的问题,并确保数据同步顺利进行。

    2023-11-10 10:38:46
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载