开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

AutoPilot的有几个策略,分别是什么?

AutoPilot的有几个策略,分别是什么?

展开
收起
Medusa 2021-11-25 16:22:12 381 0
1 条回答
写回答
取消 提交回答
  • 要进行并发度调整。这个策略目前只支持 sls 和 datahub 两种source。正在社区推进 metrics 标准化即 FLIP-33,完成以后,这个策略会支持更多的 source;

    Slot-utilization-based 策略:主要根据 task 的 slot 利用率判断是否需要调小并发度。和 CPU 的利用率不同的是,如果 task 里有 io wait 或者sleep 的逻辑也会被计算在内,利用率的计算会更加准确。但这个策略依赖对 source 节点的利用率来统计,会依赖 FLIP-27,因此也需要等到 FLIP-27 完全完成后才能实际生效;

    Memory-utilization-based 策略:主要基于 TM 实际内存的利用率以及GC metrics 信息来判断是否需要调整 TM 内存大小。当 TM 整体内存利用率低,而且没有 GC 严重的时候,可以调整内存的大小;当 TM 内存利用率已经偏高,或者说 GC 严重的时候,可以调大单个 TM 的内存,来保证上面跑的 task 处于比较健康的状态;

    Job-exception-based 策略:主要是自动识别因为资源异常所产生的作业异常。当识别到这种异常的时候,AutoPilot 会自动调大单个 TM 内存的大小来解决这种资源异常,保证作业处于稳定的状态。

    资料来源《实时计算 Flink 版独家实战秘籍》,下载链接:https://developer.aliyun.com/topic/download?id=1120 

    2021-11-25 16:57:54
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
千里之外,洞悉风险 立即下载
Uber 商业性能指标生成与管理 立即下载
阿里云产品安全基线白皮书 立即下载