开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中oracle cdc 抽取数据发生延迟半个小时 还需要调大吗?

Flink CDC中oracle cdc 抽取数据发生延迟半个小时 log.mining.batch.size.max 这个大小已经设置为1000万了 还需要调大吗 还是可以调整其他参数优化?

展开
收起
真的很搞笑 2023-11-22 08:17:06 111 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    您已将"log.mining.batch.size.max"这个参数设为1000万,这是一个非常大的值,可能导致性能下降或内存溢出等问题。我建议您可以先尝试减小该参数的值,观察是否存在延迟问题有所改善的情况。
    此外,您还可以考虑调整以下参数以优化性能和延迟:

    1. "log.mining.sleep.time.ms": 设置Oracle CDC客户端在两次连续读取操作之间的等待时间(单位为毫秒);
    2. "log.mining.parallelism": 设置并行读取Oracle日志文件的数量,提高读取速度;
    3. "committer.checkpoint.timeout": 设置Committer保存检查点的最大超时时间,可有效防止因检查点过程缓慢而导致的数据延迟;
    4. "checkpointing.interval.ms": 设置Flink Checkpoint的间隔时间,可有效控制Flink的状态更新频率,从而减轻状态存储的压力。
    2023-11-29 14:09:29
    赞同 展开评论 打赏
  • 在Flink CDC中,从Oracle数据库抽取数据发生延迟可能有几个原因。首先,log.mining.batch.size.max参数的设置会影响数据抽取的频率和批量大小。如果你已经将其设置为1000万,但仍有延迟,可能需要考虑增大这个参数。然而,过大的批量大小可能会导致内存使用过多,从而引发问题,所以需要找到一个合适的平衡点。

    其次,你还可以考虑调整其他参数来进行优化。例如,你可以尝试调整"log.mining.interval.ms"参数,这个参数决定了CDC源函数检查新日志的时间间隔。减小这个参数可能会缩短数据抽取的延迟,但是过小的参数可能会导致频繁的检查和处理,从而增加系统的负载。

    最后,你还可以考虑优化数据库的性能。例如,你可以尝试调整Oracle数据库的配置参数,或者优化查询语句,以提高数据抽取的效率。

    2023-11-29 13:53:07
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像