开发者社区> 问答> 正文

flink启动等待10分钟问题

各位Flink社区大佬,您好! 我使用Flink SQL (Flink 1.8.1),在hadoop 集群中调整了一下yarn-site.xml文件的内存参数: yarn.nodemanager.resource.memory-mb 16384 yarn.scheduler.minimum-allocation-mb 1024 yarn.scheduler.maximum-allocation-mb 8192

然后我去启动flink on yarn任务,启动参数:./flink-1.8.1/bin/flink run -m yarn-cluster -p 4 -d -c streaming.StreamKafkaMain -yn 4 -ys 2 -yjm 2048 -ytm 8192 -ynm bigdata6 ./flink_bigdata6.jar 最终能能启动成功,就是启动要等待10分钟,这个等待时间太长了,请问各位大佬有什么解决的方法吗?*来自志愿者整理的flink邮件归档

展开
收起
小阿怪 2021-12-07 22:15:15 908 0
1 条回答
写回答
取消 提交回答
  • Hi

    Flink on YARN作业启动时间长,有很多原因,例如资源不够在等待,container申请的时候又退出了。默认的slot request的timeout时间是5min,感觉你的作业应该是可能遇到了一个slot request timeout,然后又重新申请。最好能提供一下jobmanager的日志才好进一步分析。*来自志愿者整理的flink邮件归档

    2021-12-08 10:34:24
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载