开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中请问第一个任务正常启动, 第二个任务一直报AM资源不足 , 是为什么 ?

Flink CDC中请问一下yarn-application模式启动多个flink任务 , 第一个任务正常启动, 第二个任务一直报AM资源不足 , 是为什么 ? (hadoop是单机安装的 , 云服务器8核32G)

展开
收起
十一0204 2023-08-16 08:03:08 90 0
1 条回答
写回答
取消 提交回答
  • Flink CDC中,如果第二个任务一直报AM资源不足,可能是以下原因:

    第一个任务占用了太多的资源。在Flink中,每个任务都会占用一定量的资源,包括CPU、内存和磁盘。如果第一个任务占用了太多的资源,那么第二个任务就会因为资源不足而无法启动。
    YARN集群的资源不足。YARN集群中可以运行的任务数量是有限的,如果YARN集群的资源不足,那么第二个任务就会因为资源不足而无法启动。
    配置错误。如果Flink的配置错误,也可能会导致第二个任务无法启动。
    要解决这个问题,可以尝试以下方法:

    调整第一个任务的资源占用。减少第一个任务使用的CPU、内存和磁盘资源,或者调整第一个任务的并行度,都可以减少第一个任务使用的资源。
    扩容YARN集群。如果YARN集群的资源不足,可以扩容YARN集群,以增加YARN集群的可用资源。
    检查Flink的配置。如果Flink的配置错误,需要修改配置,以确保Flink可以正常运行。
    如果尝试了以上方法仍然无法解决问题,可以联系Flink的官方支持。

    2023-09-22 11:14:48
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载