请问一下,flink 任务stream_write: TWORKSHEET_hudi 阶段内存不足,报错:GC overhead limit exceededtaskmanager.memory.managed.size: 10gtaskmanager.memory.task.heap.size: 1g这两个配置参数配置多少内存才足够?
您好!
Flink 任务报错,可能是因为内存不足导致的。您可以尝试增加 taskmanager.memory.size 和 jobmanager.memory.process.size 这两个配置参数的内存大小。
taskmanager.memory.size 参数指定了每个 TaskManager 可用的内存大小。默认值为 1024 MB。您可以根据您的任务需求增加此参数的值。
jobmanager.memory.process.size 参数指定了 JobManager 可用的内存大小。默认值为 256 MB。您可以根据您的任务需求增加此参数的值。
请注意,增加这两个参数的值可能会导致 Flink 集群的性能下降。因此,您需要根据您的任务需求谨慎地调整这两个参数的值。
如果您还有其他问题,请随时问我。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。