开发者社区 > 云原生 > 正文

使用flink cdc 抽取 oracle 19C数据,发现修改表中一条数据要等几个小时是为什么?

各位大佬,最近使用flink cdc 抽取 oracle 19C的数据,使用LATESET_OFFSET启动,发现修改表中一条数据的内容,要等几个小时之后,日志才会打印接收到数据并处理,请问可能是什么原因呢?

展开
收起
哒哒哒哒哒~ 2023-03-07 11:19:03 385 0
1 条回答
写回答
取消 提交回答
  • 随心分享,欢迎友善交流讨论:)

    这种情况通常是由于Flink CDC使用的是Oracle LogMiner技术,而Oracle LogMiner有一个缺点,就是有一定的延迟。当Oracle数据库中的数据发生变化时,Flink CDC会等待一段时间来确保数据已经写入到日志中并且已经被Oracle LogMiner捕获。因此,如果你使用LATEST_OFFSET启动,它可能会导致一些延迟。

    要解决这个问题,你可以尝试使用EARLIEST_OFFSET来启动Flink CDC,这样可以确保从Oracle日志的最早位置开始读取数据。如果你确定不需要实时的数据,可以增加Flink CDC的日志级别,以便查看更多的调试信息来了解处理数据的情况,也可以考虑使用其它的数据同步工具或者技术来实现实时数据同步。

    2023-03-07 11:21:00
    赞同 展开评论 打赏

阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载

相关镜像