flink提交yarn任务,这两步差了18分钟,有什么排查方法吗?

flink提交yarn任务,这两步差了18分钟,有什么排查方法吗?

提问23.png

展开
收起
后端老大 2023-01-18 18:26:43 538 分享 版权
2 条回答
写回答
取消 提交回答
  • 可多着咧 比如说 检查YARN集群的资源分配情况; 检查Flink任务的配置; 检查Flink任务的日志; 检查YARN集的网络情况, 检查Flink任务的资源使用情况 检查YARN集群铂的调度策略 检查fink任务的运行环境, 检查YARN集的节点状态, 检查Flink任务的调度策略,

    检查YARN集群的资源配置,

    2023-01-19 13:35:29
    赞同 展开评论
  • 看着是HA切换 或者 连接Yarn有问题。 yarn.scheduler.capacity..maximum-capacity 队列资源的使用上限。由于系统空闲时,队列可以使用其他的空闲资源,因此最多使用的资源量则是该参数控制。默认是-1,即禁用。

    此答案来自钉钉群“【2】Apache Flink China 社区"

    2023-01-18 18:35:20
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理