Flink CDC中请问一下yarn-application模式启动多个flink任务 , 第一个任务正常启动, 第二个任务一直报AM资源不足 , 是为什么 ? (hadoop是单机安装的 , 云服务器8核32G)
Flink CDC中,如果第二个任务一直报AM资源不足,可能是以下原因:
第一个任务占用了太多的资源。在Flink中,每个任务都会占用一定量的资源,包括CPU、内存和磁盘。如果第一个任务占用了太多的资源,那么第二个任务就会因为资源不足而无法启动。
YARN集群的资源不足。YARN集群中可以运行的任务数量是有限的,如果YARN集群的资源不足,那么第二个任务就会因为资源不足而无法启动。
配置错误。如果Flink的配置错误,也可能会导致第二个任务无法启动。
要解决这个问题,可以尝试以下方法:
调整第一个任务的资源占用。减少第一个任务使用的CPU、内存和磁盘资源,或者调整第一个任务的并行度,都可以减少第一个任务使用的资源。
扩容YARN集群。如果YARN集群的资源不足,可以扩容YARN集群,以增加YARN集群的可用资源。
检查Flink的配置。如果Flink的配置错误,需要修改配置,以确保Flink可以正常运行。
如果尝试了以上方法仍然无法解决问题,可以联系Flink的官方支持。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。