阿里云与达摩院合作 AHPA 弹性预测论文被顶会 ICDE 录用

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
简介: 近日,阿里云容器服务团队与达摩院数据决策团队合作的论文《RobustScaler: QoS-Aware Autoscaling for Complex Workloads》被数据管理与数据库国际顶级会议 ICDE 2022 长文录用。

近日,阿里云容器服务团队与达摩院数据决策团队合作的论文《RobustScaler: QoS-Aware Autoscaling for Complex Workloads》被数据管理与数据库国际顶级会议 ICDE 2022 长文录用。ICDE 和 SIGMOD、VLDB 并称为数据库领域的三大国际顶尖学术会议,入选中国计算机学会(CCF)推荐 A 类国际会议列表。



阿里云容器服务 ACK 管理着海量的 Kubernetes 集群,在集群管理、集群运维等领域积累了丰富的经验,并构建了智能运维平台 CIS(Container Intelligence Service),旨在通过智能化手段解决运维难题。达摩院数据决策团队在时间序列分析/预测/异常监测/AIOps 方向深耕多年,数十篇文章发表在 KDD, SIGMOD, ICDE, AAAI 等顶会和多篇中美专利,获得 2022 ICASSP AIOps Challenge 冠军等多个国际奖项。


如今,企业业务流量往往呈现出明显的波峰、波谷形态,如果采用固定实例数会存在极大的资源浪费。为应用配置弹性伸缩是提升资源利用率的有效方式。


Kubernetes 中现有的弹性伸缩策略如 HPA、CronHPA 等都存在弹性触发滞后的问题,导致应用的服务质量下降。如何在保证应用服务质量的前提下,根据应用的历史数据,基于时序算法提前进行扩缩容呢?


为解决该问题,我们在论文中提出了一种基于非齐次柏松过程(NHPP)和随机约束优化的智能弹性框架 RobustScaler。此外,研发了一种专门的交替方向乘子法 (ADMM)  来有效地训练 NHPP 模型,并证明了基于优化的主动策略可以保证应用的服务质量。 大量实验表明,RobustScaler 在各种实际场景中优于常见的自动伸缩策略,并且在具有复杂周期性的应用中也表现优异。


RobustScaler 算法已经应用于智能运维平台 CIS 的 AHPA 组件中。智能运维平台 CIS 由异常发现、异常定位、异常修复、异常预测四大模块组成,包含定时巡检、网络诊断、运行时诊断、CVE 漏洞修复、应用配置优化等众多功能。AHPA 是 CIS 的核心组件之一,组件架构如下图所示,AHPA 弹性策略可分为主动预测和被动预测。主动预测从历史数据中识别周期性趋势,主动预测下个周期应用的实例数量;被动预测基于应用实时数据设定实例数量,可以很好的应对突发流量。此外,AHPA 还增加了兜底保护策略,用户可以设置实例数量的上下界。AHPA 算法中最终生效的实例数是主动预测、被动预测及兜底策略中的最大值。


AHPA 组件正在公测中,点击申请白名单[1],欢迎大家试用并提宝贵意见。



点击此处查看阿里云容器服务 AHPA 弹性预测产品文档详情。当前 AHPA 已开启用户邀测,欢迎感兴趣的用户点击文档中“提交工单”位置申请白名单,期待您的试用及反馈。


相关链接


[1]申请白名单https://help.aliyun.com/document_detail/412229.html

相关文章
|
10月前
|
弹性计算 Kubernetes 算法
AHPA:Kubernetes弹性伸缩的预言家,揭秘未来资源使用的神秘面纱!
【8月更文挑战第8天】在云原生应用中,Kubernetes已成为部署标准。面对不断扩大的集群与应用规模,有效资源管理和弹性伸缩成为关键。AHPA(自适应历史感知预测算法)作为先进的预测技术,通过分析历史数据预测资源需求并自动调整Kubernetes资源分配。以一个在线零售平台为例,通过AHPA识别流量周期性变化,在节假日高峰期前自动增加Pod数量,保证服务稳定;而在平峰期减少Pod数量,节省资源。AHPA为Kubernetes提供了智能化的弹性伸缩方案,提高了应用稳定性和资源利用率。
166 7
|
Kubernetes 应用服务中间件 API
kubernetes HPA-超详细中文官方文档
kubernetes HPA-超详细中文官方文档
|
Kubernetes 安全 调度
深度解读:阿里云全球首发的容器计算服务 ACS 诞生背景、核心技术与应用场景
深度解读:阿里云全球首发的容器计算服务 ACS 诞生背景、核心技术与应用场景
69908 45
|
存储 运维 Kubernetes
Kubernetes HPA 的三个误区与避坑指南
云计算带来的优势之一便是弹性能力,云原生场景下Kubernetes提供了水平弹性扩容能力(HPA),让应用可以随着实时指标进行扩/缩。然而HPA的实际工作情况可能和我们直观预想的情况是不一样的,这里面存在一些认知误区。本文总结了一下 EDAS 用户在使用 HPA 时常遇到的三个认知误区
2340 58
Kubernetes HPA 的三个误区与避坑指南
|
数据采集 达摩院 资源调度
AHPA 弹性预测最佳实践
在云原生场景下,资源容量往往难以预估,而使用 K8s 原生的 HPA,往往要面对弹性滞后以及配置复杂问题。阿里云容器服务与达摩院决策智能时序团队合作推出的 AHPA(Advanced Horizontal Pod Autoscaler)弹性预测,可以根据业务历史指标,自动识别弹性周期并对容量进行预测,帮你提前进行弹性规划,解决弹性滞后的问题。 AHPA 如何配置才能解锁最佳使用姿势?本文给你带来 AHPA 弹性预测最佳实践
1735 0
 AHPA 弹性预测最佳实践
|
存储 弹性计算 资源调度
K8S下一代设备管理机制:DRA
背景Kubernetes从1.8开始引入了Device Plugin机制,用于第三方设备厂商以插件化的方式将设备资源(GPU、RDMA、FPGA、InfiniBand等)接入Kubernetes集群中。用户无需修改Kubernetes代码,只需在集群中以DaemonSet方式部署设备厂商提供的插件,然后在Pod中申明使用该资源的使用量,容器在启动成功后,便可在容器中发现该设备。然而,随着Kuber
3272 2
K8S下一代设备管理机制:DRA
|
弹性计算 分布式计算 网络性能优化
【VLDB 2023】基于预测的云资源弹性伸缩框架MagicScaler,实现“高QoS,低成本”双丰收
近日,由阿里云计算平台大数据基础工程技术团队主导,与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作,基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler: Uncertainty-aware, Predictive Autoscaling 》被数据库领域顶会VLDB 2023接收。
|
Kubernetes 测试技术 API
快速体验NVIDIA在k8s中下一代设备管理插件
背景Kubernetes 1.26开始引入DRA( Dynamic Resource Allocation,动态资源分配),用于解决Kubernetes现有Device Plugin机制的不足。相比于现有的Device Plugin机制,DRA更加开放和自主,能够满足一些复杂的使用场景。NVIDIA、Intel这些设备厂商也基于DRA开放自己下一代Device Plugin,以期满足更复杂的业务场
1536 0
|
运维 Kubernetes 算法
资源画像,看得见的容器资源优化助手
日前,ACK 控制台在此基础上正式发布了资源画像功能,为用户提供了可视化的交互页面,便于管理员快速分析应用资源规格的合理性,并进行资源规格配置的变更。该功能目前已经正式开放公测,ACK 用户可以直接申请白名单试用。
资源画像,看得见的容器资源优化助手