开发者社区> 问答> 正文

将每个tm的slot数从2降低到1,任务反而无法启动怎么办

您好: 任务的拓扑图如下,parallelism的设置是140,但是中间有个操作的并行度设置成了50。 集群剩余的slot总数是195。 如果将每个tm的slot数设置为2,任务能够正常启动,并且分配了70个tm和140个slot,符合预期。 可如果将每个tm的slot数设置为1,便只分配了115个slot。任务会卡在creating状态,并且几分钟后,会抛出异常,“Could not allocate all requires slots within timeout of 300000 ms. Slots required: 470, slots allocated: 388” 这里面有几个问题: 1. 将slot数设置为1后,异常中提示“Slots required: 470”,这个470似乎完全没有考虑slot share(我们并没有手动设置SlotSharingGroup)。这是为啥? 2. 将slot数设置为1后,异常中提示“slots allocated: 388”,而整个集群剩余的slot其实只有195个,这个388怎么来的? 3. 最大的并行度应是140,为何只分配了115个slot呢? 我们使用的flink版本是1.6.2。 期待你们的回复~*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-01 14:57:38 815 0
1 条回答
写回答
取消 提交回答
  • 建议看下集群剩余的内存情况,看是不是 140 个 TAskManager 内存不够了*来自志愿者整理的flink邮件归档

    2021-12-01 15:20:06
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载