Flink1.9批任务yn和ys对任务的影响
跑tpcds的query1: flink run -m yarn-cluster -d -p 100 -yn 20 -ys 5 -yjm 60g -ytm 30g 任务可以正常执行 flink run -m yarn-cluster -d -p 100 -yn 10 -ys 10 -yjm 60g -ytm 30g 任务在做hashjoin的时候就会失败 报错是No pooled slot available and request to ResourceManager for new slot failed 搞不懂这有啥关系，求指教 faaron zheng *来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
Flink 1.9 中 -yn参数应该是不生效的，后续版本中已经删除了这个参数。
根据你的参数，在每个 TM 的内存为30G不变的情况下，每个 TM
中的slot个数（-ys）从5变成10，也就意味着平均每个slot占用的内存变为了原来的一半。
Flink 1.9 的sql batch 算子对 flink managed memory 是有确定的需求的，很可能是这个变化导致单个 slot
的managed memory无法满足算子的资源需求了。*来自志愿者整理的flink邮件归档
2021-12-08 14:27:43赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
