哪位大佬试过flink最新版的adaptive mode吗?如果task manager少了,重启后并行度不够任务会不会挂起不执行?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在Flink的最新版本中,确实引入了自适应模式(Adaptive Mode)来动态调整作业的并行度,以更高效地利用集群资源。此功能允许任务管理器(Task Manager)的数量变化时,作业能够自动调整其并行任务的数量,从而更好地匹配当前可用资源。
针对您的问题,如果在使用自适应模式时Task Manager的数量减少导致并行度不足:
不会直接挂起不执行:Flink的自适应模式设计初衷是为了应对资源动态变化的场景,确保作业能够在资源减少时仍然保持运行。当Task Manager数量减少,Flink会尝试根据剩余资源重新分配并行度,尽可能保证所有任务继续执行,尽管这可能意味着整体处理能力下降或作业完成时间延长。
重启策略与自适应机制协同:即使在Task Manager因故障等原因需要重启的情况下,Flink的重启策略(如Fixed Delay、Failure Rate等)也会与自适应模式协同工作,确保作业在遇到失败时能够按照配置的策略尝试恢复,而自适应机制则帮助在恢复后根据新的资源状况优化并行度设置。
注意事项:
综上所述,在Flink最新版的自适应模式下,若Task Manager数量减少,系统会尽量通过自动调整并行度来维持作业执行,而不是直接挂起任务。不过,实际效果还需结合具体作业逻辑、资源状况及配置细节来综合评估。