开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

ORACLE CDC遇到这个问题,然后作业无法捕获增量数据了,请问有朋友遇到过吗?

ORACLE CDC遇到这个问题,然后作业无法捕获增量数据了,有朋友遇到过吗? The connector is now using the maximum batch size 100000 when querying the LogMiner view. This could be indicative of large SCN gaps 3fdcb5c8c6dc25db8af7b944e5eb07b7.png

展开
收起
十一0204 2023-04-10 20:23:07 522 0
1 条回答
写回答
取消 提交回答
  • 坚持这件事孤独又漫长。
    • 这个问题可能是由于ORACLE CDC连接器在查询LogMiner视图时遇到了较大的SCN(System Change Number)跳跃,导致连接器将批处理大小调整为100000。这可能是由于以下原因之一造成的

      1. LogMiner日志清理不及时,导致Oracle数据库中的SCN出现了大的跳跃。
      2. 在Oracle数据库上执行了一些DDL操作,例如表删除、表截断或索引重建,这些DDL操作也可能导致SCN出现巨大跳跃。
    • 为了解决这个问题,可以采取以下措施

      1. 确保LogMiner日志随时清理,这可以通过调整LogMiner日志清理策略来实现。
      2. 避免在Oracle数据库上执行影响SCN跳跃的DDL操作,在这方面需要与数据库管理员协调以确保操作不会影响CDC作业的正常运行。
      3. 调整ORACLE CDC连接器的参数,例如batchSize、maximumLogFileSize、logMiningBatchSize等,这些参数可以用来调整CDC作业对Oracle数据库中的增量数据的处理方式。
    2023-04-10 20:50:50
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践 立即下载
PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移 立即下载
Oracle云上最佳实践 立即下载