开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC在使用oracle cdc监控数据库,参数设置,还有其他办法么?

Flink CDC在使用oracle cdc监控数据库,系统打印LogMiner is now using the maximum batch size 100000....,继而无法监控数据变更,除了调大log.mining.batch. size.max参数设置,还有其他办法么? 这个过程中缺失的数据有啥办法能重新捕获到嘛?

展开
收起
真的很搞笑 2023-12-11 13:39:09 106 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    除了调大log.mining.batch.size.max参数设置,还可以尝试以下方法:

    1. 检查Oracle数据库的归档日志模式是否开启。如果没有开启,需要先开启归档日志模式。可以通过以下命令查看和设置归档日志模式:

      查看归档日志模式:

      SHOW PARAMETER log_archive_dest;
      

      开启归档日志模式:

      ALTER DATABASE ARCHIVELOG;
      
    2. 检查Flink CDC的Debezium连接器配置是否正确。确保已经正确配置了Oracle数据库的连接信息、schema列表等。可以参考官方文档进行配置:https://debezium.io/documentation/reference/stable/connectors/oracle.html

    3. 如果缺失的数据已经无法重新捕获到,可以考虑使用第三方工具(如GoldenGate、DataSync等)进行数据同步,将缺失的数据从其他时间点同步过来。

    2023-12-12 15:50:49
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载