开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC管理内存webui上一直是百分百这个是啥原因导致的?状态后端用的是rocksdb?

Flink CDC管理内存webui上一直是百分百这个是啥原因导致的?状态后端用的是rocksdb?

展开
收起
真的很搞笑 2023-12-10 20:07:22 87 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC管理内存webui上一直是百分百,可能是因为您的Flink作业的内存使用量过高。这可能是因为您的作业正在处理的数据规模比较大,或者是某些操作导致了内存的过度消耗。为了解决这个问题,您可以尝试以下方法:

    1. 增加JVM堆内存:如果您发现JVM堆内存占用过高,可以考虑增加JVM堆内存的大小,以便为作业提供更多的内存资源。

    2. 调整Flink总内存:对于独立部署模式(Standalone Deployment),您可以选择配置Flink的总内存。Flink的总内存会进一步划分为多个部分,包括任务管理器堆内存、任务管理器栈内存、JobManager堆内存等。通过调整这些内存的大小,您可以更好地控制作业的内存使用情况。

    3. 优化作业逻辑:您还可以尝试优化作业的逻辑,减少不必要的内存消耗。例如,您可以使用更高效的算法或数据结构,或者对作业进行并行化处理,以提高作业的执行效率。

    2023-12-11 17:25:56
    赞同 展开评论 打赏
  • RocksDB作为状态后端,占据100%,如果程序没问题的话,可以不用管 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-11 11:18:01
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载