开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

各位大佬请问flink这个报错有遇到过吗?启动的时候报错

各位大佬请问flink这个报错有遇到过吗?image.png yarn-session 启动的时候报错

展开
收起
真的很搞笑 2023-06-11 22:17:56 160 0
4 条回答
写回答
取消 提交回答
  • 可能是临时文件过多导致,删除HDFS中的Flink的临时文件即可,你的文件存在哪就删除哪,比如存在/flink/yarn/ha目录下,所以直接删除即可,可以在flink的conf目录下的flink-conf.yaml查看HDFS的存储路径。

    删除完成后再次启动试试。

    bin/yarn-session.sh -d
    

    ——参考链接

    2024-01-25 16:31:55
    赞同 1 展开评论 打赏
  • 某政企事业单位运维工程师,主要从事系统运维及大数据开发工作,多次获得阿里云、华为云、腾讯云征文比赛一二等奖;CTF选手,白帽,全国交通行业网络安全大赛二等奖,全国数信杯数据安全大赛银奖,手握多张EDU、CNVD、CNNVD证书

    这是一个关于YARN session启动失败的问题,具体原因是请求的应用主虚拟核心超过了最大可提供虚拟核的数量。这是由Apache Flink客户端部署ClusterDeploymentException引起的,无法部署YARN会话群集。下面是详细的异常堆栈轨迹:

    Caused by org.apache.flink.configuration.IllegalConfigurationException: The number of requested virtual cores for application master 1 exceeds the maximum number of vtual cores *available in the YARN cluster*.
    at org.apache.flink.yarn.YarnClusterDescriptor.isReadyForDeployment(YarnClusterDescriptor.java:327) ~[flink-yarn_2.12-1.16.6.jar:1.16.6]
    at org.apache.flink.yarn.YarnClusterDescriptor.deployInternal(YarnClusterDescriptor.java:548) ~[flink-yarn_2.12-1.16.6.jar:1.16.6]
    at org.apache.flink.yarn.YarnClusterDescriptor.deploySessionCluster(YarnClusterDescriptor.java:419) ~[flink-yarn_2.12-1.16.6.jar:1.16.6]...
    

    为了解决该问题,请参考以下可能的方法:

    • 确认YARN资源是否充足: 查看Hadoop集群中的资源状况,特别是CPU资源。确保有足够的空闲CPU供应用主使用。
    • 减少申请的核心数: 如果确实存在资源不足的情况,那么降低应用程序主进程所需要的虚拟核心数是一个有效的办法。可以通过修改yarn-site.xml中的yarn.resourcemanager.resource.cpu-vcores值来实现这一目标。
    • 优化资源配置: 对整个集群进行全面分析,找出瓶颈在哪里,针对性地进行优化。例如,提高服务器的规格、扩展磁盘空间等等。
    2024-01-19 14:42:44
    赞同 展开评论 打赏
  • 你遇到了 Flink YARN 容器无法部署的情况。错误提示表明,由于申请的应用主节点虚拟内核数量超过了 Yarn Cluster 可用的最大值,导致了该异常的发生。

    要解决这个问题,需要考虑以下几个方面:

    1. 降低虚拟内核请求的数量: 调整 yarn.nodemanager.vmem_RESERVED 参数,减小预留给 JVM 的内存。同时,也可以增加 mapreduce.tasktracker.tasks.per.node 参数,从而允许更多的任务在单个节点上运行。

    2. 增大可用的虚拟内核数: 增加 Hadoop/YARN 集群的虚拟内核数量。可以通过修改 /etc/hadoop/yarn-site.xml 文件,在 <property> 标签下添加以下内容进行配置:

    <property>
      <name>yarn.scheduler.maximum-allocation.vcores</name>
      <value>8</value>
    </property>
    
    <property>
      <name>yarn.minimum-vcore-requirement</name>
      <value>1</value>
    </property>
    

    这些更改会告诉 YARN 运行时系统应该为每个任务保留多少虚拟内核。请注意,实际使用过程中可能还需要根据实际情况微调这两个参数。

    1. 优化代码实现: 对于特定的 Flink 应用程序,可能存在一些地方没有充分利用计算能力,这时就需要分析代码逻辑,查找瓶颈点并对之进行优化。

    2. 监控集群健康状况: 监控整个 Hadoop/YARN 集群的健康情况,包括 CPU 利用率、内存占用率等指标,以便及时发现潜在问题。

    强烈推荐升级至最新的 Flink 版本,因为它可能会包含已知的 bug 修复以及其他改进。此外,还可以查阅 Flink 文档 Cluster Deployment 来获取更多信息。
    image.png

    2024-01-15 14:59:20
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    问题可能是由于Flink作业请求的虚拟核心数量超过了YARN集群中可用的最大虚拟核心数量。要解决这个问题,您可以尝试以下方法:

    1. 调整Flink作业的资源请求。您可以在Flink作业的flink-conf.yml文件中设置jobmanager.rpc.address,以限制作业的资源请求。例如,将jobmanager.rpc.address设置为local,以在本地运行作业。这将限制作业的资源请求,从而避免超出YARN集群的虚拟核心限制。
      示例配置:

    jobmanager:
    rpc:
    address: local
    CopyCopy

    1. 如果您需要在YARN集群上运行Flink作业,请考虑优化作业的资源利用率和并行度。这可以帮助您在YARN集群中更有效地利用虚拟核心资源。
    2. 如果您无法降低作业的虚拟核心需求,可以考虑联系您的YARN集群管理员,以增加集群中的虚拟核心资源。
    2024-01-12 21:57:06
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载