开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里oracel cdc 的延时很大什么原因?

Flink CDC里oracel cdc 的延时很大什么原因?目前只有几条测试数据好几分钟数据才过来,在上游插入一条数据,看日志,10分钟才过来。16bec79b8d338da68931ebe973fa56cd.jpg

展开
收起
小小鹿鹿鹿 2024-02-14 14:35:52 95 0
2 条回答
写回答
取消 提交回答
  • Flink CDC在与Oracle进行数据同步时出现较大延时,可能由以下几个原因造成:

    1. 网络延迟:Flink CDC作业与Oracle数据库之间的网络连接可能存在高延迟,导致数据传输缓慢。

    2. CDC配置问题

      • Oracle数据库的CDC设置可能导致延迟。比如,归档日志模式是否开启、Redo Log传输和应用的速度、Logminer参数配置等。
      • Flink CDC自身的参数设置也可能是原因之一,如数据读取的batch大小、polling间隔时间等。
    3. 资源限制

      • 如果Flink CDC任务所在节点资源紧张(CPU、内存或磁盘IO),则可能导致处理速度下降,增加数据同步的延迟。
    4. 事务提交延迟

      • 在上游Oracle数据库中,如果事务提交频率低或者单个事务包含大量数据且执行时间较长,则从Oracle捕获变更事件的时间点到实际提交并写入日志的时间差也会造成延迟。
    5. Debezium适配器兼容性和性能

      • Flink CDC底层使用Debezium框架来实现对Oracle的数据采集,Debzium针对Oracle的适配器性能和优化程度可能影响同步速度。
    6. 连接数限制

      • 如果Oracle数据库的并发连接数受到限制,无法及时建立新连接或者释放旧连接,也可能导致数据同步滞后。
    7. checkpoint设置

      • Flink CDC的checkpoint间隔和持久化策略可能会影响整个流处理流程中的数据传递效率。
    8. 数据过滤和转换逻辑复杂度

      • 如果Flink SQL中有复杂的过滤和转换操作,在实时处理过程中可能会消耗更多时间,进而加大了数据同步的延迟。

    为了解决这个问题,你需要排查以上各个层面的可能性,并根据具体情况做出调整,包括但不限于检查并优化网络环境、适当调整Flink CDC的相关参数、确保Oracle数据库CDC设置合理、监控并优化任务运行时资源分配以及检查数据处理逻辑的效率。

    2024-02-21 17:07:08
    赞同 展开评论 打赏
  • eed5473959be2a4b71aef3be51b57bc2.png之前遇到过 我是调整ck的设置 你可以调整ck的设置 试一下 间隔时间 超时时间,你如果数据量不大 你就设置的小一点 测试一下。此回答来自钉群Flink CDC 社区。

    2024-02-14 15:24:38
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载