要进行并发度调整。这个策略目前只支持 sls 和 datahub 两种source。正在社区推进 metrics 标准化即 FLIP-33,完成以后,这个策略会支持更多的 source;
Slot-utilization-based 策略:主要根据 task 的 slot 利用率判断是否需要调小并发度。和 CPU 的利用率不同的是,如果 task 里有 io wait 或者sleep 的逻辑也会被计算在内,利用率的计算会更加准确。但这个策略依赖对 source 节点的利用率来统计,会依赖 FLIP-27,因此也需要等到 FLIP-27 完全完成后才能实际生效;
Memory-utilization-based 策略:主要基于 TM 实际内存的利用率以及GC metrics 信息来判断是否需要调整 TM 内存大小。当 TM 整体内存利用率低,而且没有 GC 严重的时候,可以调整内存的大小;当 TM 内存利用率已经偏高,或者说 GC 严重的时候,可以调大单个 TM 的内存,来保证上面跑的 task 处于比较健康的状态;
Job-exception-based 策略:主要是自动识别因为资源异常所产生的作业异常。当识别到这种异常的时候,AutoPilot 会自动调大单个 TM 内存的大小来解决这种资源异常,保证作业处于稳定的状态。
资料来源《实时计算 Flink 版独家实战秘籍》,下载链接:https://developer.aliyun.com/topic/download?id=1120
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。