开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC我idea本地测试代码,通过这个参数设置的没有效果,有知道啥问题吗?

Flink CDC我idea本地测试代码,想把state用的内存设置大一点,taskmanager.memory.managed.size: 2048m,通过这个参数设置的没有效果,有大佬知道啥问题吗?b06121970178a5876077e195c7e64a77.png
451343c09b0962e17aad975a53da77bb.png

展开
收起
真的很搞笑 2023-11-06 13:52:33 137 0
2 条回答
写回答
取消 提交回答
  • a3eb041a6ecc1f9b3868331e89ddea4c.png
    38ec75880f5a6460681c1f2a6667c0b8.png
    b55eff7bbaca69b8ca800923604841fb.png
    ,此回答整理自钉群“Flink CDC 社区”

    2023-11-08 01:47:47
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 IDEA 中运行 Flink CDC 任务时,修改 taskmanager.memory.managed.size 参数可能无法达到预期的效果。这是因为该参数通常应用于生产环境的 Flink 集群部署中,而不是在本地测试环境中。在本地环境下,Flink 使用 JVM 堆内存作为其工作空间,而在集群部署中,Flink 会通过 TaskManager 资源进行管理和调度。

    要增大 Flink CDC 在本地 IDEA 测试环境中的内存大小,你可以尝试以下方法:

    1. 增大 IDEA 的 JVM 参数:进入 IDEA 设置(File -> Settings),搜索“VM options”,并在其中增加关于 Java heap size 的参数,例如 -Xms1g-Xmx4g。注意不要超过机器的实际内存容量。

    2. 使用 Flink LocalEnvironment:在 Flink 1.11 及更高版本中,可以使用 LocalEnvironment 模拟集群环境。在 LocalEnvironment 中,可以通过 Configuration 类设置内存大小。示例代码如下:

    final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();
    env.getConfig().setManagedMemorySize(2048);
    
    1. 增大 IDE 自带的内存大小:如果你使用 Eclipse 或其他 IDE,则可以通过更改 IDE 的配置来增加内存大小。
    2023-11-06 15:08:44
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载