开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC 里启动flink yarn application任务,任务超时怎么办?

在 Flink CDC 中,当启动 Flink Yarn Application 任务过程中,在第 68 个任务之后,接下来的第 69 和 70 个任务遭遇启动超时,进而呈现 pending 状态。这个问题是否由于我将 yarn.scheduler.capacity.maximum-am-resource-percent 的参数设置调整到了 0.5 引起的?此外,我也更改了 yarn.nodemanager.resource.cpu-vcores 和 yarn.nodemanager.resource.memory-mb 的配置,最初是为单个节点设置,后来调整为三个节点的总配置。
dd2a27d6c6e7643f33408623f2f0a46a.png
d97f83bdd192a850378f42f180ec571e.png3af015b661d93e5cfbceed55a7c7b3d2.png


yarn.scheduler.capacity.maximum-am-resource-percent
0.5

yarn.nodemanager.resource.cpu-vcores
90
每个nodemanager可分配的cpu总核数


yarn.nodemanager.resource.memory-mb
737280
每个nodemanager可分配的内存总量

展开
收起
小小鹿鹿鹿 2024-03-11 16:48:02 43 0
1 条回答
写回答
取消 提交回答
  • 参考:f2ede4e6a02552bcb7211dc142a117c5.png此回答来自钉群Flink CDC 社区 。

    2024-03-11 21:50:33
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载