阿里云与达摩院合作 AHPA 弹性预测论文被顶会 ICDE 录用

简介: 近日,阿里云容器服务团队与达摩院数据决策团队合作的论文《RobustScaler: QoS-Aware Autoscaling for Complex Workloads》被数据管理与数据库国际顶级会议 ICDE 2022 长文录用。

近日,阿里云容器服务团队与达摩院数据决策团队合作的论文《RobustScaler: QoS-Aware Autoscaling for Complex Workloads》被数据管理与数据库国际顶级会议 ICDE 2022 长文录用。ICDE 和 SIGMOD、VLDB 并称为数据库领域的三大国际顶尖学术会议,入选中国计算机学会(CCF)推荐 A 类国际会议列表。



阿里云容器服务 ACK 管理着海量的 Kubernetes 集群,在集群管理、集群运维等领域积累了丰富的经验,并构建了智能运维平台 CIS(Container Intelligence Service),旨在通过智能化手段解决运维难题。达摩院数据决策团队在时间序列分析/预测/异常监测/AIOps 方向深耕多年,数十篇文章发表在 KDD, SIGMOD, ICDE, AAAI 等顶会和多篇中美专利,获得 2022 ICASSP AIOps Challenge 冠军等多个国际奖项。


如今,企业业务流量往往呈现出明显的波峰、波谷形态,如果采用固定实例数会存在极大的资源浪费。为应用配置弹性伸缩是提升资源利用率的有效方式。


Kubernetes 中现有的弹性伸缩策略如 HPA、CronHPA 等都存在弹性触发滞后的问题,导致应用的服务质量下降。如何在保证应用服务质量的前提下,根据应用的历史数据,基于时序算法提前进行扩缩容呢?


为解决该问题,我们在论文中提出了一种基于非齐次柏松过程(NHPP)和随机约束优化的智能弹性框架 RobustScaler。此外,研发了一种专门的交替方向乘子法 (ADMM)  来有效地训练 NHPP 模型,并证明了基于优化的主动策略可以保证应用的服务质量。 大量实验表明,RobustScaler 在各种实际场景中优于常见的自动伸缩策略,并且在具有复杂周期性的应用中也表现优异。


RobustScaler 算法已经应用于智能运维平台 CIS 的 AHPA 组件中。智能运维平台 CIS 由异常发现、异常定位、异常修复、异常预测四大模块组成,包含定时巡检、网络诊断、运行时诊断、CVE 漏洞修复、应用配置优化等众多功能。AHPA 是 CIS 的核心组件之一,组件架构如下图所示,AHPA 弹性策略可分为主动预测和被动预测。主动预测从历史数据中识别周期性趋势,主动预测下个周期应用的实例数量;被动预测基于应用实时数据设定实例数量,可以很好的应对突发流量。此外,AHPA 还增加了兜底保护策略,用户可以设置实例数量的上下界。AHPA 算法中最终生效的实例数是主动预测、被动预测及兜底策略中的最大值。


AHPA 组件正在公测中,点击申请白名单[1],欢迎大家试用并提宝贵意见。



点击此处查看阿里云容器服务 AHPA 弹性预测产品文档详情。当前 AHPA 已开启用户邀测,欢迎感兴趣的用户点击文档中“提交工单”位置申请白名单,期待您的试用及反馈。


相关链接


[1]申请白名单https://help.aliyun.com/document_detail/412229.html

相关文章
|
消息中间件 资源调度 数据可视化
企业级分布式批处理方案
在企业级大数据量批处理需求场景中,如何通过分布式方式来有效地提升处理效率。本文将就常见批处理框架Spring Batch与SchdulerX进行比较讨论。同时基于阿里巴巴分布式任务调度平台SchedulerX2.0,实现一个分布式并行批处理方案,展示其相关的功能特性。
3340 0
|
5月前
|
人工智能 自然语言处理 数据挖掘
阿里云Tokens是如何收费的?收费标准与万亿Tokens扶持和7000万 Tokens 免费体验活动介绍
阿里云Tokens是AI应用的核心计量单位,用于大模型处理、API授权等场景。文章详细阐述了Tokens的定义、计费逻辑与优惠活动:计费上,不同模型(如Qwen-Turbo、Qwen-Max)有不同阶梯计费标准,且输入输出分开计费;优惠活动方面,企业新客可参与“万亿Tokens扶持计划”,至高得2000元返现,还有“7000万Tokens免费体验”活动。企业合理利用可降低AI应用成本,加速商业化落地。
3508 18
|
6月前
|
人工智能 Kubernetes 机器人
一键部署 OpenClaw:基于 ACS Agent Sandbox 构建企业级 AI Agent 应用
本文将详细介绍如何基于 ACS Agent Sandbox 一键部署 OpenClaw,实现按需休眠与秒级唤醒,并介绍其与钉钉等应用的集成方法。
1902 7
|
人工智能 运维 安全
阿里云函数计算 AgentRun 全新发布,构筑智能体时代的基础设施
阿里云推出以函数计算为核心的AgentRun平台,通过创新体系解决开发、部署、运维难题,提供全面支持,已在多个真实业务场景验证,是AI原生时代重要基础设施。
|
机器学习/深度学习 数据采集 弹性计算
甩掉容量规划炸弹:用 AHPA 实现 Kubernetes 智能弹性伸缩
我们提出了一种智能化弹性伸缩方案 AHPA,可以根据历史时序数据进行主动预测,提前扩容,避免弹性滞后。同时,会根据实时数据动态调整主动预测结果,兼容周期变动等场景。
700 85
甩掉容量规划炸弹:用 AHPA 实现 Kubernetes 智能弹性伸缩
|
缓存 NoSQL 安全
|
存储 运维 Prometheus
全面公测|Grafana服务:一张图表胜过千行指标&日志
Grafana 帮助运维人员轻松处理各类运维过程中遇到的各类数据可视化与分析难题。目前阿里云 Grafana 服务全面免费公测,帮助企业轻松构建运维数据可视化平台,轻松实现数据驱动运维!
2805 122
全面公测|Grafana服务:一张图表胜过千行指标&日志
|
缓存 Linux Docker
在Docker中,镜像层级压缩如何实现?
在Docker中,镜像层级压缩如何实现?
|
机器学习/深度学习 虚拟化 异构计算
浅析GPU通信技术(上)-GPUDirect P2P
1. 背景 GPU在高性能计算和深度学习加速中扮演着非常重要的角色, GPU的强大的并行计算能力,大大提升了运算性能。随着运算数据量的不断攀升,GPU间需要大量的交换数据,GPU通信性能成为了非常重要的指标。
31799 1
|
缓存 应用服务中间件 Linux
淘宝APP在短视频场景下的IETF QUIC最佳实践
手机淘宝在短视频、图片等多个场景下会用到CDN内容分发网络,手机淘宝技术和阿里云CDN技术有非常多的共建合作,其中包括在IETF QUIC加速产品方向。1月12日的「阿里云CDN重磅升级 | 新一代传输协议QUIC让CDN更快一步」产品发布会中,来自大淘宝平台技术团队,负责手机淘宝网络和网关技术的喵吉,分享了手机淘宝使用IETF QUIC加速产品的应用场景和效果,以及介绍下配套的XQUIC库的情况。以下为分享全文。
1283 67
淘宝APP在短视频场景下的IETF QUIC最佳实践