开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问 Flink Oracle CDC. 使用Logminer的模式延迟能到毫秒级吗?

请问 Flink Oracle CDC. 使用Logminer的模式。 数据库变动 ----> flink监听到变化, 延迟能到毫秒级吗?目前oracle19c的情况下. 延迟是 1-3s。

展开
收起
小易01 2023-07-19 18:41:19 219 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink Oracle CDC 中,使用 LogMiner 模式进行数据抽取时,可以实现毫秒级的延迟。LogMiner 是 Oracle 数据库提供的一种机制,可以实时监控数据库的 redo 日志,并将日志解析成逻辑日志,从而实现实时数据抽取。
    LogMiner 模式的实时性取决于 Oracle 数据库 redo 日志的生成速度和 Flink Oracle CDC 的消费速度。如果 redo 日志生成速度较快,并且 Flink Oracle CDC 的消费速度也较快,可以实现毫秒级的延迟。
    需要注意的是,LogMiner 模式需要在 Oracle 数据库中启用 LogMiner 功能,并且需要使用 Oracle GoldenGate 或类似的工具进行 LogMiner 数据的采集和传输。在配置 LogMiner 模式时,需要根据实际情况进行性能测试和调优,以确保 Flink Oracle CDC 的正常运行和实时性能。
    同时,也需要注意 LogMiner 模式可能会对 Oracle 数据库的性能产生一定的影响,特

    2023-07-29 19:15:12
    赞同 展开评论 打赏
  • 存在即是合理

    Flink CDC 使用 Logminer 模式时,延迟取决于多个因素,包括网络延迟、Oracle 数据库的负载和 Flink 任务的并行度等。在 Oracle 19c 的情况下,延迟可能会达到 1-3 秒,但这并不是绝对的,具体取决于实际情况。

    如果希望将延迟降低到毫秒级别,可以考虑以下几个方面:

    1. 优化网络连接:确保 Flink 任务与 Oracle 数据库之间的网络连接稳定且带宽足够。

    2. 调整 Flink 任务的并行度:通过增加 Flink 任务的并行度,可以提高任务处理速度,从而减少延迟。

    3. 优化 Logminer 模式的配置:根据实际情况,调整 Logminer 模式的配置参数,例如增加查询的并发数、调整查询的时间范围等,以提高查询效率和减少延迟。

    降低延迟的同时也需要权衡其他因素的影响,例如资源利用率和任务吞吐量等。要根据实际情况进行综合考虑和优化。

    2023-07-24 13:00:47
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像