开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink 任务报错,这两个配置参数配置多少内存才足够?

7129489bf9f4c79a613b12d3a547abba.png请问一下,flink 任务stream_write: TWORKSHEET_hudi 阶段内存不足,报错:GC overhead limit exceededtaskmanager.memory.managed.size: 10gtaskmanager.memory.task.heap.size: 1g这两个配置参数配置多少内存才足够?

展开
收起
冰激凌甜筒 2023-04-23 16:14:23 259 0
1 条回答
写回答
取消 提交回答
  • 您好!

    Flink 任务报错,可能是因为内存不足导致的。您可以尝试增加 taskmanager.memory.size 和 jobmanager.memory.process.size 这两个配置参数的内存大小。

    taskmanager.memory.size 参数指定了每个 TaskManager 可用的内存大小。默认值为 1024 MB。您可以根据您的任务需求增加此参数的值。

    jobmanager.memory.process.size 参数指定了 JobManager 可用的内存大小。默认值为 256 MB。您可以根据您的任务需求增加此参数的值。

    请注意,增加这两个参数的值可能会导致 Flink 集群的性能下降。因此,您需要根据您的任务需求谨慎地调整这两个参数的值。

    如果您还有其他问题,请随时问我。

    2024-02-28 17:35:24
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载