在并发度大且有 shuffle的作业中，为什么会出现RPC超时和JobMaster上大量请求的情况？
在并发度大且有 shuffle 的作业中，为什么会出现 RPC 超时和 JobMaster 上大量 requestPartitionState 请求的情况？
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
在并发度大且有 shuffle 的作业中，下游 Task 启动时会检查上游 Task 的 partition 是否就绪。如果上游 Task 还未就绪，下游 Task 会频繁请求 JobMaster 去询问上游 Task 的状态，导致 JobMaster 上出现大量的 requestPartitionState 请求。这种频繁的请求在作业规模很大时，很容易导致 RPC 超时。
2024-07-30 19:38:24赞同 展开评论
相关问答