开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大神们,请教一个问题。我用flink1.16.1提交word count任务到yarn上,并行度是?

大神们,请教一个问题。我用flink1.16.1提交word count任务到yarn上,并行度是5。集群规模2.13T内存,255core(Hadoop3.3.0),只有一个默认队列,没有其他在跑的任务,后台也没其他耗资源的服务。第一个任务可以正常跑起来,第二个就一直created状态,日志一直打只能申请到3个cotainer?但是用Hadoop的example跑mr任务就能跑起来多个,感觉yarn没问题。没有报错,不知道哪里的问题

展开
收起
cuicuicuic 2023-07-03 15:12:05 69 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    如果第一个 Flink 任务可以正常运行,而第二个任务一直处于 created 状态,可能有以下几个原因:

    资源不足:当第一个任务占用了大部分资源时,第二个任务可能无法获取足够的资源来运行,从而一直处于 created 状态。您可以通过查看 Flink 和 YARN 的日志来了解资源分配情况,以确定是否存在资源瓶颈。如果是资源不足导致的问题,可以尝试增加集群的规模或者调整任务的并行度来提高资源利用率。

    任务提交失败:第二个任务可能由于某些原因提交失败,例如配置错误、代码问题或者网络问题等。您可以查看 Flink 和 YARN 的日志,查找异常信息和错误提示,以确定任务提交失败的原因。如果是任务提交失败导致的问题,可以尝试重新提交任务,并检查配置和代码是否正确。

    系统问题:在某些情况下,可能存在系统层面的问题,例如网络不稳定、文件系统故障或者硬件故障等。您可以检查系统日志和监控指标,以确定是否存在系统问题。如果是系统问题导致的问题,建议联系系统管理员或者运维人员进行处理和修复。

    2023-07-30 09:39:48
    赞同 展开评论 打赏
  • 您好!根据您的描述,您使用Flink 1.16.1将Word Count任务提交到YARN上,并行度为5。在一个规模为2.13T内存和255个核心的集群上,只有一个默认队列,没有其他正在运行的任务,也没有后台耗资源的服务。

    您提到第一个任务能够正常启动,但第二个任务一直处于created状态,并且日志显示只能申请到3个container。同时,使用Hadoop的示例程序可以正常运行多个任务,这让您觉得YARN可能没有问题。但是对于您的情况,没有出现报错,您不确定具体出现了什么问题。

    从您的描述中,很难确定造成这种情况的确切原因。但可能涉及到以下几个方面:

    1. YARN资源配置:请确保您在YARN上正确配置了足够的资源来支持并行度为5的Flink任务。您可以检查YARN的配置文件以及Flink的yarn-site.xml文件,确保分配给Flink任务的内存和核心数足够。

    2. 队列设置:由于您只有一个默认队列,可能会受到其他正在运行的任务或者某些队列级别的限制影响。您可以尝试创建一个新的队列,并将任务提交到该队列中,以避免与其他任务资源竞争的情况。

    3. Flink参数配置:Flink有很多与任务调度和资源管理相关的参数可以进行配置。您可以检查Flink的配置文件(如flink-conf.yaml)以及在提交任务时使用的命令行参数,确保这些参数正确设置。

    4. YARN日志:您可以查看YARN的日志文件,特别是关于第二个任务创建失败的具体错误信息。这些日志可能会提供更多的上下文和线索,帮助您确定问题所在。

    综上所述,并行度为5的Flink任务在您的情况下遇到了问题,可能涉及到YARN资源配置、队列设置、Flink参数配置等方面。通过仔细检查这些方面,并结合YARN的日志信息,您应该能够找到解决问题的线索

    2023-07-30 09:41:22
    赞同 展开评论 打赏
  • 我调了好几个参数,最后也不知道那个参数生效了,是的,这个跑得66的,,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-07-03 15:31:31
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载