各位社区大佬, Flink-1.13.6版本的 Flink cdc提交到yarn上,以yarn session 模式运行,如果禁用托管内存呢
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在Flink-1.13.6版本中,如果您希望在YARN Session模式下运行Flink CDC作业并禁用托管内存,您需要通过调整Flink配置来实现。虽然直接禁用托管内存的配置选项在某些较新版本的Flink中更为直观,但在Flink 1.13.6中,您可以通过设置TaskManager和JobManager的内存相关参数来间接控制托管内存的使用方式。
具体操作上,您需要关注以下几个关键配置项:
TaskManager内存配置:
taskmanager.memory.process.size
配置TaskManager的总进程内存大小。这包括JVM堆内存以及其他非堆内存(如元数据、线程栈等)。TaskManager堆内/外内存划分:
taskmanager.memory.flink.heap.fraction
, taskmanager.memory.flink.heap.min
, 和taskmanager.memory.flink.heap.max
等参数来控制堆内存与非堆内存(即所谓的“托管内存”)的比例和界限。taskmanager.memory.flink.heap.fraction
的值,您可以相对增加非堆内存的比例,但这并不完全等同于禁用托管内存,而是调整其比例。YARN资源配置: 在提交到YARN时,确保YARN为Flink容器分配的资源量能够满足您的配置需求,同时考虑YARN自身的最小内存预留。
注意事项:
flink-conf.yaml
)中完成,并确保这些配置随作业一起提交到YARN集群。综上所述,虽然不能直接“禁用”托管内存,但通过精细调整内存相关的配置,您可以有效地控制托管内存的使用情况,以适应特定的应用场景和资源约束。请根据实际需求和环境测试调整上述参数。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。