开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC的很慢,我update一个数据之后间隔了3分钟才修改过来,这个会是有什么原因么?

Flink CDC的很慢,我update一个数据之后间隔了3分钟才修改过来,这个会是有什么原因么?debezium.log.mining.strategy'='online_catalog'
'debezium.log.mining.continuous.mine'='true这两个有用么?

展开
收起
真的很搞笑 2023-10-18 17:02:58 129 0
2 条回答
写回答
取消 提交回答
  • 设置下checkpoint吧,sql-clinet。set execution.checkpointing.interval=1000;
    flink-conf.yaml中也可以设置,此回答整理自钉群“Flink CDC 社区”

    2023-10-18 19:17:50
    赞同 展开评论 打赏
  • Flink CDC的性能问题可能有多种原因,包括但不限于以下几点:

    1. 数据库的并发性能:如果数据库的并发性能较低,可能会导致Flink CDC的性能下降。
    2. Flink的配置:Flink的配置可能会影响其性能。例如,如果你没有正确配置Flink的内存使用,可能会导致Flink的性能下降。
    3. 数据库的状态:如果数据库的状态较慢,可能会导致Flink CDC的性能下降。
    4. 数据库的索引:如果数据库的索引设置不当,可能会导致Flink CDC的性能下降。
    5. 数据库的存储引擎:如果数据库的存储引擎设置不当,可能会导致Flink CDC的性能下降。

    至于'debezium.log.mining.strategy'='online_catalog'和'debezium.log.mining.continuous.mine'='true'这两个配置,它们可能会影响Flink CDC的性能。'online_catalog'策略表示使用在线模式进行数据挖掘,而'continuous.mine'='true'表示持续地进行数据挖掘。这些配置可能会提高Flink CDC的性能,但也会增加系统的资源消耗。如果你发现Flink CDC的性能下降,可能需要考虑调整这些配置。

    2023-10-18 17:14:37
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载