Flink CDC里假设我现在有台服务器是10G内存,YARN的node manager给的也是10G内存,后面服务器动态加了10G内存,如何在不重启Hadoop的情况下加上这10G内存?如果YARN上运行了很多任务呢,岂不是全都要停掉?即便一开始初始化任务的时候,给的内存足够大,但后续一点点加任务逼近了内存阈值,总归有内存不足的一天啊?或许我可以在一开始写配置文件的时候指定yarn.nodemanager.resource.memory-mb为无穷大,我只需要保证我所提交的任务一定不超过机器内存,如果后面任务内存快要大于机器内存,我动态添加机器内存,这样是不是也可行?我这边运维同事方便给加资源,不方便加机器.,增加内存可以做到不重启服务器,可以的,之前已经动态增加过内存和磁盘了.
你得修改yarn-site.xml 然后重启nodemanager.横向扩.如果你确定是这样,就按照你自己的想法测试一下吧,生产环境很少会遇到你这类情况。纠结这个,不如想办法完善运维机制,保障服务稳定,毕竟断电重启还是会遇到的。此回答来自钉群Flink CDC 社区。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。