开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC全量阶段这种反压情况会是什么原因呢?

Flink CDC全量阶段这种反压情况会是什么原因呢,另外一个作业的数据量比这个大得多都没有反压;数据同步逻辑也很简单,就是从源表把数据全量同步到kafka?image.png

展开
收起
真的很搞笑 2023-11-16 08:14:47 83 0
3 条回答
写回答
取消 提交回答
  • Flink CDC全量阶段反压的情况可能有以下几个原因:

    1. 数据源性能问题:如果数据源(如MySQL)的性能较低,那么在全量阶段可能会产生大量的反压。这是因为Flink需要从数据源中读取大量的数据,并将其传输到下游系统,这可能导致数据源和网络带宽的压力增大。
    2. 系统资源不足:如果Flink任务所在的机器或者集群资源不足,那么也可能会导致反压。例如,如果内存不足,Flink可能无法缓存足够的数据来满足下游的需求。
    3. 网络问题:如果网络连接不稳定或带宽不足,也可能导致反压。例如,如果Flink任务与下游系统的网络连接断开,那么Flink可能需要等待一段时间才能重新建立连接。
    2023-11-16 21:39:33
    赞同 1 展开评论 打赏
  • Flink CDC全量阶段出现反压,通常表示数据源的处理速度跟不上Flink CDC的读取速度。这种状况可能由各种原因引起,例如MySQL数据库的性能问题。值得注意的是,反压的根源节点并不一定会在反压面板体现出高反压,因为反压面板监控的是发送端,如果某个节点是性能瓶颈并不会导致它本身出现高反压,而是导致它的上游出现高反压。

    反压的影响主要体现在Flink中checkpoint过程上,具体表现在相关数据流阻塞,会使数据处理速度变慢,按正常数据量间隔插入的barrier也会被阻塞,进而拉长checkpoint时间,可能导致checkpoint超时,甚至失败。

    2023-11-16 09:59:36
    赞同 展开评论 打赏
  • 怀疑是你代码里有什么操作导致的数据流向下游满,建议拆分下算子看下env.disableOperatorChaining();
    image.png
    ,此回答整理自钉群“Flink CDC 社区”

    2023-11-16 08:43:36
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载