阿里云与达摩院合作 AHPA 弹性预测论文被顶会 ICDE 录用

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 近日,阿里云容器服务团队与达摩院数据决策团队合作的论文《RobustScaler: QoS-Aware Autoscaling for Complex Workloads》被数据管理与数据库国际顶级会议 ICDE 2022 长文录用。

近日,阿里云容器服务团队与达摩院数据决策团队合作的论文《RobustScaler: QoS-Aware Autoscaling for Complex Workloads》被数据管理与数据库国际顶级会议 ICDE 2022 长文录用。ICDE 和 SIGMOD、VLDB 并称为数据库领域的三大国际顶尖学术会议,入选中国计算机学会(CCF)推荐 A 类国际会议列表。



阿里云容器服务 ACK 管理着海量的 Kubernetes 集群,在集群管理、集群运维等领域积累了丰富的经验,并构建了智能运维平台 CIS(Container Intelligence Service),旨在通过智能化手段解决运维难题。达摩院数据决策团队在时间序列分析/预测/异常监测/AIOps 方向深耕多年,数十篇文章发表在 KDD, SIGMOD, ICDE, AAAI 等顶会和多篇中美专利,获得 2022 ICASSP AIOps Challenge 冠军等多个国际奖项。


如今,企业业务流量往往呈现出明显的波峰、波谷形态,如果采用固定实例数会存在极大的资源浪费。为应用配置弹性伸缩是提升资源利用率的有效方式。


Kubernetes 中现有的弹性伸缩策略如 HPA、CronHPA 等都存在弹性触发滞后的问题,导致应用的服务质量下降。如何在保证应用服务质量的前提下,根据应用的历史数据,基于时序算法提前进行扩缩容呢?


为解决该问题,我们在论文中提出了一种基于非齐次柏松过程(NHPP)和随机约束优化的智能弹性框架 RobustScaler。此外,研发了一种专门的交替方向乘子法 (ADMM)  来有效地训练 NHPP 模型,并证明了基于优化的主动策略可以保证应用的服务质量。 大量实验表明,RobustScaler 在各种实际场景中优于常见的自动伸缩策略,并且在具有复杂周期性的应用中也表现优异。


RobustScaler 算法已经应用于智能运维平台 CIS 的 AHPA 组件中。智能运维平台 CIS 由异常发现、异常定位、异常修复、异常预测四大模块组成,包含定时巡检、网络诊断、运行时诊断、CVE 漏洞修复、应用配置优化等众多功能。AHPA 是 CIS 的核心组件之一,组件架构如下图所示,AHPA 弹性策略可分为主动预测和被动预测。主动预测从历史数据中识别周期性趋势,主动预测下个周期应用的实例数量;被动预测基于应用实时数据设定实例数量,可以很好的应对突发流量。此外,AHPA 还增加了兜底保护策略,用户可以设置实例数量的上下界。AHPA 算法中最终生效的实例数是主动预测、被动预测及兜底策略中的最大值。


AHPA 组件正在公测中,点击申请白名单[1],欢迎大家试用并提宝贵意见。



点击此处查看阿里云容器服务 AHPA 弹性预测产品文档详情。当前 AHPA 已开启用户邀测,欢迎感兴趣的用户点击文档中“提交工单”位置申请白名单,期待您的试用及反馈。


相关链接


[1]申请白名单https://help.aliyun.com/document_detail/412229.html

相关文章
|
1月前
|
机器学习/深度学习 人工智能 算法
【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
|
2月前
|
大数据 数据中心 云计算
连续4年 阿里云液冷技术论文入选DesignCon 2024和ECTC 2024
连续4年 阿里云液冷技术论文入选DesignCon 2024和ECTC 2024
|
1月前
|
存储 调度 块存储
阿里云连续两年斩获全球存储顶会FAST最佳论文
阿里云连续两年斩获全球存储顶会FAST最佳论文
319 0
|
3月前
|
人工智能 监控 算法
阿里云加强公共云能力服务香港客户,建立新合作支持各行各业加快数字转型
阿里云加强公共云能力服务香港客户,建立新合作支持各行各业加快数字转型
91 1
|
3月前
|
关系型数据库 MySQL Serverless
阿里云云原生数据库 PolarDB MySQL Serverless:卓越的性能与无与伦比的弹性
阿里云原生数据库 PolarDB MySQL Serverless 拥有卓越性能和无与伦比的弹性。通过实验体验,深入了解其基本管理和配置、智能弹性伸缩特性和全局一致性特性。实验包括主节点和只读节点的弹性压测以及全局一致性测试,旨在亲身体验 PolarDB 的强大性能。通过实验,可以更好地在实际业务场景中应用 PolarDB,并根据需求进行性能优化和调整。
679 2
|
4月前
|
域名解析 负载均衡 网络协议
阿里云基础设施网络研发团队参与论文获得CCS 2023 杰出论文奖
阿里云基础设施网络研发团队参与论文获得CCS 2023 杰出论文奖
|
1月前
|
存储 调度 块存储
十二年磨一剑:三代架构演进,打造高性能、低成本的块存储!
上周,全球计算机存储顶会USENIX FAST 2024 在美国加州圣克拉拉召开,继去年获得国内首个FAST最佳论文奖后,凭借在分布式块存储上的创新,阿里云新作再次斩获FAST大会最佳论文奖。这也是国内唯一一家连续两年获得FAST最佳论文奖的科技公司。
104611 104
|
3月前
|
Kubernetes Serverless 开发者
阿里云 SAE 2.0 正式商用,极简易用、百毫秒弹性效率,降本 40%
本文主要介绍阿里云 Serverless 应用引擎如何帮助企业跨越技术鸿沟,从传统应用架构无感升级到 Serverless 架构,以更高效、更经济的方式进行转型,快速进入云原生快车道,让 2 人的研发团队享受 2000 人技术团队的红利。
|
3月前
|
人工智能 安全 架构师
应急管理大学(筹)与阿里云达成全面合作
应急管理大学(筹)与阿里云达成全面合作
43 0
|
3月前
|
关系型数据库 MySQL Serverless
点点鼠标,10分钟快速感知阿里云RDS MySQL Serverless的极致弹性!
瑶池解决方案体验馆,带您沉浸式、所见即所得地体验云数据库最前沿的技术方向