开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC增量只能是1,但是binlog数量很大 延迟到小时级别 有什么建议吗?

Flink CDC增量只能是1,但是binlog数量很大 延迟到小时级别 有什么建议吗?

展开
收起
真的很搞笑 2023-12-19 08:07:20 81 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果发现Flink CDC的增量同步速度较慢,导致延迟增加,可以尝试以下优化措施:

    1. 数据库优化:提高binlog生成的效率可以有效缓解读取慢的问题。这可以通过调整MySQL数据库的参数来实现,例如优化binlog缓存大小、调整binlog_format格式或关闭不必要的binlog功能等。

    2. Flink参数优化:你可以适当调整Flink CDC的运行参数以提高其性能。例如,可以调整输入输出缓冲区的大小、优化内存占用情况、增加任务的并行度或设置回压策略等。

    3. 数据过滤:合理设置过滤规则可以防止不必要的数据流入Flink CDC中,这样既可以节省处理时间,也有助于减少网络传输的压力。

    4. 网络优化:如果Flink CDC需要从远程Oracle数据库中读取binlog,那么网络延迟可能会影响到读取速度。在这种情况下,你可能需要优化网络环境以降低延迟。

    2023-12-19 20:33:22
    赞同 展开评论 打赏
  • 如果这么大的话,适当调整下debezium的采集数据大小,flink单并行度处理这些数据,还是easy的,是不是上游采集的太慢造成的问题。 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-19 16:15:40
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载