阿里云与达摩院合作 AHPA 弹性预测论文被顶会 ICDE 录用

简介: 近日,阿里云容器服务团队与达摩院数据决策团队合作的论文《RobustScaler: QoS-Aware Autoscaling for Complex Workloads》被数据管理与数据库国际顶级会议 ICDE 2022 长文录用。

近日,阿里云容器服务团队与达摩院数据决策团队合作的论文《RobustScaler: QoS-Aware Autoscaling for Complex Workloads》被数据管理与数据库国际顶级会议 ICDE 2022 长文录用。ICDE 和 SIGMOD、VLDB 并称为数据库领域的三大国际顶尖学术会议,入选中国计算机学会(CCF)推荐 A 类国际会议列表。



阿里云容器服务 ACK 管理着海量的 Kubernetes 集群,在集群管理、集群运维等领域积累了丰富的经验,并构建了智能运维平台 CIS(Container Intelligence Service),旨在通过智能化手段解决运维难题。达摩院数据决策团队在时间序列分析/预测/异常监测/AIOps 方向深耕多年,数十篇文章发表在 KDD, SIGMOD, ICDE, AAAI 等顶会和多篇中美专利,获得 2022 ICASSP AIOps Challenge 冠军等多个国际奖项。


如今,企业业务流量往往呈现出明显的波峰、波谷形态,如果采用固定实例数会存在极大的资源浪费。为应用配置弹性伸缩是提升资源利用率的有效方式。


Kubernetes 中现有的弹性伸缩策略如 HPA、CronHPA 等都存在弹性触发滞后的问题,导致应用的服务质量下降。如何在保证应用服务质量的前提下,根据应用的历史数据,基于时序算法提前进行扩缩容呢?


为解决该问题,我们在论文中提出了一种基于非齐次柏松过程(NHPP)和随机约束优化的智能弹性框架 RobustScaler。此外,研发了一种专门的交替方向乘子法 (ADMM)  来有效地训练 NHPP 模型,并证明了基于优化的主动策略可以保证应用的服务质量。 大量实验表明,RobustScaler 在各种实际场景中优于常见的自动伸缩策略,并且在具有复杂周期性的应用中也表现优异。


RobustScaler 算法已经应用于智能运维平台 CIS 的 AHPA 组件中。智能运维平台 CIS 由异常发现、异常定位、异常修复、异常预测四大模块组成,包含定时巡检、网络诊断、运行时诊断、CVE 漏洞修复、应用配置优化等众多功能。AHPA 是 CIS 的核心组件之一,组件架构如下图所示,AHPA 弹性策略可分为主动预测和被动预测。主动预测从历史数据中识别周期性趋势,主动预测下个周期应用的实例数量;被动预测基于应用实时数据设定实例数量,可以很好的应对突发流量。此外,AHPA 还增加了兜底保护策略,用户可以设置实例数量的上下界。AHPA 算法中最终生效的实例数是主动预测、被动预测及兜底策略中的最大值。


AHPA 组件正在公测中,点击申请白名单[1],欢迎大家试用并提宝贵意见。



点击此处查看阿里云容器服务 AHPA 弹性预测产品文档详情。当前 AHPA 已开启用户邀测,欢迎感兴趣的用户点击文档中“提交工单”位置申请白名单,期待您的试用及反馈。


相关链接


[1]申请白名单https://help.aliyun.com/document_detail/412229.html

相关文章
|
存储 移动开发 前端开发
浅谈前端路由原理hash和history
众所周知, hash 和 history 在前端面试中是很常考的一道题目。在学习本文内容之前,周一对 hash 和 history 的认知可能就在 hash 的 url 里面多了个 # ,而 history 就不会。然后,我认知里还有一个是只有 history 才能做前后端分离,而 hash 跟前后端分离没有关系。然而,现实是……
浅谈前端路由原理hash和history
|
机器学习/深度学习 数据采集 弹性计算
甩掉容量规划炸弹:用 AHPA 实现 Kubernetes 智能弹性伸缩
我们提出了一种智能化弹性伸缩方案 AHPA,可以根据历史时序数据进行主动预测,提前扩容,避免弹性滞后。同时,会根据实时数据动态调整主动预测结果,兼容周期变动等场景。
745 88
甩掉容量规划炸弹:用 AHPA 实现 Kubernetes 智能弹性伸缩
|
数据采集 达摩院 资源调度
AHPA 弹性预测最佳实践
在云原生场景下,资源容量往往难以预估,而使用 K8s 原生的 HPA,往往要面对弹性滞后以及配置复杂问题。阿里云容器服务与达摩院决策智能时序团队合作推出的 AHPA(Advanced Horizontal Pod Autoscaler)弹性预测,可以根据业务历史指标,自动识别弹性周期并对容量进行预测,帮你提前进行弹性规划,解决弹性滞后的问题。 AHPA 如何配置才能解锁最佳使用姿势?本文给你带来 AHPA 弹性预测最佳实践
2346 0
 AHPA 弹性预测最佳实践
|
资源调度 数据可视化 容灾
Spring Cloud Alibaba定时任务
Spring Cloud Alibaba定时任务是阿里巴巴开发的一款低延时、高可用、可视化的任务调度产品(定时、任务依赖编排、分布式跑批),支持日志服务、监控大盘、报警监控。
3933 2
|
域名解析 JavaScript 安全
使用轻量应用服务器部署Docsify在线文档平台
借助阿里云轻量应用服务器的快速部署特性,只需要不到半小时就可以完成快速建站。
使用轻量应用服务器部署Docsify在线文档平台
|
数据采集 运维 安全
Dataphin权限体系(1):权限体系介绍与角色权限【视频】
在数据系统中,优秀的权限体系设计对系统的数据安全和开发效率都非常重要,本文将从下面三个角度对Dataphin的权限体系介绍: 1、Dataphin权限体系整体设计 2、Dataphin全局角色介绍 3、Dataphin项目角色介绍
Dataphin权限体系(1):权限体系介绍与角色权限【视频】
|
分布式计算 Hadoop Java
|
关系型数据库 分布式数据库 调度
Dataphin小时调度依赖关系及运行说明
介绍天任务依赖小时任务、小时任务依赖小时任务的依赖关系及运行条件
Dataphin小时调度依赖关系及运行说明
|
域名解析 缓存 弹性计算
如果你非要在 Kubernetes 集群中用 nscd
本文将阐述你应该优先考虑的方案、为什么不推荐 nscd、以及如何合理地在 Kubernetes 集群中使用 nscd。
3049 1
如果你非要在 Kubernetes 集群中用 nscd
|
机器学习/深度学习 缓存 Kubernetes
进击的Kubernetes调度系统(一):Scheduling Framework
阿里云容器服务团队结合多年Kubernetes产品与客户支持经验,对Kube-scheduler进行了大量优化和扩展,逐步使其在不同场景下依然能稳定、高效地调度各种类型的复杂工作负载。 《进击的Kubernetes调度系统》系列文章将把我们的经验、技术思考和实现细节全面地展现给Kubernetes用户和开发者,期望帮助大家更好地了解Kubernetes调度系统的强大能力和未来发展方向。
9302 0