开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里假设我现在有台服务器是10G内存,这种情况怎么做?

Flink CDC里假设我现在有台服务器是10G内存,YARN的node manager给的也是10G内存,后面服务器动态加了10G内存,如何在不重启Hadoop的情况下加上这10G内存?如果YARN上运行了很多任务呢,岂不是全都要停掉?即便一开始初始化任务的时候,给的内存足够大,但后续一点点加任务逼近了内存阈值,总归有内存不足的一天啊?或许我可以在一开始写配置文件的时候指定yarn.nodemanager.resource.memory-mb为无穷大,我只需要保证我所提交的任务一定不超过机器内存,如果后面任务内存快要大于机器内存,我动态添加机器内存,这样是不是也可行?我这边运维同事方便给加资源,不方便加机器.,增加内存可以做到不重启服务器,可以的,之前已经动态增加过内存和磁盘了.

展开
收起
小小鹿鹿鹿 2024-04-15 20:20:08 17 0
1 条回答
写回答
取消 提交回答
  • 你得修改yarn-site.xml 然后重启nodemanager.横向扩.如果你确定是这样,就按照你自己的想法测试一下吧,生产环境很少会遇到你这类情况。纠结这个,不如想办法完善运维机制,保障服务稳定,毕竟断电重启还是会遇到的。此回答来自钉群Flink CDC 社区。

    2024-04-15 22:01:21
    赞同 3 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载