开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC我在配置文件分配了三个G 没提交任务是只占用了100m 现在已经增长到1.7G?

Flink CDC我在配置文件分配了三个G 没提交任务是只占用了100m 全量阶段跑完后占用1.6G 然后就一直不动了。现在已经增长到1.7G?image.png

展开
收起
cuicuicuic 2023-11-07 07:18:42 40 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这可能是因为Flink CDC的内存使用不仅仅是取决于你配置的内存大小,还与你的数据量和复杂性有关。
    一般来说,全量阶段会消耗较多的内存,因为它需要处理所有的数据。而在增量阶段,内存使用通常会比较稳定,因为只需要处理新的或者更改过的数据。
    如果你发现内存使用一直在增加,那么可能是由于以下原因:

    • 数据流持续不断地输入新的数据,而且这些数据非常大或者复杂,导致内存使用不断增加。
    • Flink CDC任务出现了一些问题,例如数据倾斜、垃圾回收频繁等,这也可能导致内存使用增加。
    2023-11-07 14:49:16
    赞同 1 展开评论 打赏
  • 你的问题可能是由于Flink CDC在全量阶段结束后,未能成功地进行增量阶段,导致内存持续增长。这可能是由于一些原因,例如:

    1. 增量阶段的数据源没有正确配置。请确保你已经正确配置了增量阶段的数据源,并且该数据源可以正常访问。
    2. Flink任务的配置问题。请检查你的Flink任务配置,特别是与内存相关的配置。可能你的任务需要的内存超过了分配给它的内存,这可能导致任务无法正常运行。在这种情况下,你可以尝试增加分配给Flink任务的内存。
    3. 长时间运行导致的内存泄漏。如果你的任务运行了很长时间,可能会导致内存泄漏。在这种情况下,你可以尝试优化你的任务,减少内存使用,或者查找可能导致内存泄漏的原因。

    为了更好地解决你的问题,我建议你查看Flink的日志以获取更多信息。你可以查看日志中是否有任何错误或异常,或者查看是否有任何与内存使用相关的警告。此外,你也可以尝试使用一些工具来监控你的Flink任务和系统资源的使用情况,以帮助你找到问题所在。

    2023-11-07 10:31:55
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载