开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC做大表全量+增量同步时,发现内存使用飙升而且不下降,这问题如何解决?

Flink CDC做大表全量+增量同步时,发现内存使用飙升而且不下降,表数据似乎直接缓存在内存,太占内存空间了。这问题如何解决?image.png

展开
收起
真的很搞笑 2023-09-28 10:02:29 337 0
1 条回答
写回答
取消 提交回答
  • Flink CDC 做大表全量+增量同步时,如果内存使用飙升且不下降,有可能是以下几个原因:

    数据量太大,导致 Flink 集群的内存不足。
    Flink 集群配置不合理,导致内存使用过高。
    使用的 Flink CDC 版本较低,存在内存泄漏问题。
    要解决这个问题,可以尝试以下方法:

    减少数据量。如果数据量过大,可以考虑使用分区表的方式,将数据分散到多个表中,这样可以减少每个表的数据量,并降低 Flink 集群的内存压力。
    调整 Flink 集群的配置。可以根据集群的实际情况,调整 Flink 集群的配置,例如调整 taskmanager.memory.size 和 jobmanager.memory.size 的值。
    使用较新的 Flink CDC 版本。Flink CDC 的较新版本修复了内存泄漏问题,可以有效降低 Flink 集群的内存使用。
    如果通过上述方法还无法解决问题,可以联系 Flink 官方支持。

    2023-10-12 11:52:51
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    内存取证与IaaS云平台恶意行 为的安全监控 立即下载
    云服务器ECS内存增强型实例re6全新发布 立即下载