阿里云 ACK FinOps成本优化最佳实践

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 Tair(兼容Redis),内存型 2GB
简介: 本文源自2024云栖大会梁成昊演讲,讨论了成本优化策略的选择与实施。文章首先介绍了成本优化的基本思路,包括优化购买方式、调整资源配置等基础策略,以及使用弹性、资源混部等高级策略。接着,文章详细探讨了集群优化和应用优化的具体方法,如使用抢占式实例降低成本、通过资源画像识别并优化资源配置,以及利用智能应用弹性策略提高资源利用效率。

本文整理自2024云栖大会梁成昊演讲

如何选择成本优化策略

 

我们可以看一下左侧的这张导图,其实在容器这个场景下,可选的降本策略有很多种。如果刚刚开始进行FinOps,或者策略偏保守,可以先从优化购买方式、调整资源配置等手段入手,这一类优化策略的好处在于推动简单,不需要业务侧配合进行架构优化;而如果希望进一步优化成本,可以选择一些高阶的优化策略,比如使用弹性,使用资源混部,但是并不一定高级的优化策略就一定产生更好的效果,因为优化策略本身并没有好坏之分,更重要的是看团队更适合哪些优化策略。

 

那么如何选择优化策略呢?我们可以通过建立两个维度的资源画像来评估。首先是集群维度,集群维度通常需要关注资源利用率是否合理,业务特征上是否可以考虑节省计划、抢占式实例等购买方式。然后是应用维度,应用维度需要关注资源配置是否合理,资源是否有明显周期性或突发性,是否需要考虑应用层的弹性策略。

 

这是我们需要在开始着手优化前进行的资源画像评估,然后就可以进入具体的优化策略的选型。

集群优化例抢占式实例抗

 

首先是集群维度的云资源优化。

 

这是一个实际的集群资源画像的例子,这个集群里面部署了两种业务,第一个业务存在不定期的资源波动,但有一个较稳定的最低资源水位。对于这部分稳定依赖的资源,我们可以选择包年包月的购买方式,如果有跨多个规格、可用区或者地域的需求,还可以选择使用节省计划,比包年包月在选择上有更好的灵活性。对于波动的资源,可以考虑开启ACK节点弹性,ACK主要提供自研的goatscaler和社区版cluster-autoscaler两种节点弹性方案,如果集群规模较大,goatscaler相比社区方案可以有更快更稳定的资源交付速度。我们再来看第二个业务,这个业务是非常典型的可容忍中断的大数据业务,可以优先考虑使用抢占式实例,相比按量付费实例最高可以节省90%的成本,有非常明显的成本优势。

 

另外还有一种非常常见的浪费情况,因为K8S这个环境涉及到复杂的云资源管理,我们在日常开发运维工作中很可能遇到一些未投入使用、或者未及时关闭的资源,产生了额外的扣费,比如没有配置监听的SLB,未挂载的磁盘,甚至已经移出K8S节点但还没有释放的ECS。这些资源如果逐个检查、逐个清理通常比较费时,所以我们提供了一键的闲置资源检查功能,我们会基于一些规则识别集群中的闲置资源,并且提供统一的闲置资源视图,帮助用户更方便地处理资源浪费。

应用优化 - 稳定性&效率SPRON

 

然后是应用层的优化策略。

在进行FinOps优化时,有一种非常常见的手段是调整资源配置,业务为了提升资源利用率,常见的方式就是调低资源Request,有的业务可能极端一点,甚至不配置资源request。其实这些操作都存在一定的资源风险,我们这里汇总了资源不合理配置的三类情况。

第一类情况是未配置资源,资源未配置的应用不会直接申请节点上的资源,所以有一定的成本优势,但如果这类应用调度到资源紧张的节点,随时可能因资源不足而没有响应甚至中止。第二类是资源配置不足,如果CPU配置不足一般会影响业务性能,而内存配置不足则可能导致业务OOM退出。第三类是资源过度配置,因为K8S是调度模型,资源配置决定了一个节点上能调度多少Pod,所以过度配置会导致整体资源利用率偏低,这类场景是有成本优化空间的。

那么如何识别这三种情况带来的成本、性能或稳定性风险呢,可以查看ACK稳定性&效率分析大盘,这里首先提供了资源利用率排序,可以帮助批量化地快速识别集群中稳定性风险最高,或者资源浪费程度最高的应用。还有一种情况,比如运维团队希望规范业务的资源配置,比如检查业务是否都设置了CPU Request,也可以在这里筛选,统一查看集群中所有未配置某资源的应用。

这里主要是提供了集群稳定性&效率风险的统一视图。

应用优化 - 资源画像CPU使用量

 

 

现在我们已经通过前面的分析,识别到集群中配置不合理的应用后,该如何调整资源配置呢?可能一直以来,设置资源Request、Limit都是让应用管理员比较犯难的问题,通常需要大量人工经验分析,再根据业务变化动态调整。设置过高可能浪费成本,设置过低又不能很好保证稳定性。

为了简化资源配置的复杂性,我们提供了白屏化的资源配置推荐功能。这个功能的大概原理是,会基于机器学习的算法分析应用的历史资源使用数据,计算出应用下每个容器的画像值,这时我们还需要给画像值增加一个冗余,就得出我们推荐的资源Request配置。

通过这种配置推荐,可以帮助应用管理员简化资源配置的复杂度,也可以保证资源利用率在一个健康的水位,从而避免稳定性风险或者成本浪费。

 

那么我们该如何使用配置推荐的功能呢,首先这个功能提供白屏化变配,可以直接在控制台查看应用的历史资源分析,判断推荐值是否合理,再选择是否应用推荐值。然后这个功能也联动到ACK的应用管理页面,比如我们在编辑工作负载时,如果不清楚如何配置资源,可以快速查看我们的建议。以及对于一些希望自建FinOps系统的客户,我们也提供标准的数据接口,可以基于通过K8s的CRD获取数据,也可以基于标准的Prometheus协议获取数据,或者绘制可视化大盘。这是如何基于资源画像实现资源的合理配置。

应用优化 - 弹性策略

 

 

最后是如何选择应用弹性策略。如果应用的资源存在明显的波动性,那么我们可以考虑为应用配置弹性策略。

目前弹性控制器有很多种,分别适用于不同的场景。如果业务波动具有突发性,或者需要频繁扩缩容,一般可以选择HPA。如果业务流量有明显的高峰和低谷时段,那么可以使用CronHPA来配置周期性的扩缩容。如果是有状态应用或者大型单体应用,不适合HPA这种水平增减Pod的场景,可以使用VPA的Pod垂直伸缩。

但是,客户要用好这些弹性策略,经常面临几个问题。第一个是指标的选择,要选择哪个或哪几个指标,才能保证弹性策略能够准确、即时的执行扩缩容,通常需要大量的人工经验做判断。第二个是规则的设置,也就是要给HPA设置多少的阈值,CronHPA要设置怎样的定时规则。第三个是这些配置还需要根据业务的变化进行动态调整。

为了更好解决这些问题,我们今年新推出了智能应用弹性的策略,我们会结合多种算法分析应用的资源画像,提取出应用的时序特征、容量水位,再基于资源画像自动生成、自动调整弹性的阈值、弹性的规则,从而达到一个辅助驾驶前面我提到的弹性控制器的效果。另外还有一个非常重要的点是什么,就是既然客户把弹性策略交给辅助驾驶了,那么弹性策略的效果如何,是否比手动设置有更好的成本节省。所以我们会白屏化量化智能弹性算法的效果,让用户能看得到弹性的策略,弹性的成功率,帮助客户提供更加可衡量、可追溯的智能弹性策略。

 

 

 

 

 

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
9天前
|
供应链 安全 Cloud Native
阿里云飞天企业版获【可信云·容器平台安全能力】先进级认证
阿里云飞天企业版容器系列产品获中国信息通信研究院【可信云·容器平台安全能力】先进级认证,这是飞天企业版容器产品获得《等保四级PaaS平台》和《 云原生安全配置基线规范V2.0》之后,本年度再一次获得行业权威认可,证明飞天企业版的容器解决方案具备符合行业标准的最高等级容器安全能力。
阿里云飞天企业版获【可信云·容器平台安全能力】先进级认证
|
18天前
|
Prometheus Kubernetes 监控
OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性
聚焦近日OpenAI的大规模K8s集群故障,介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案:包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。
|
10天前
|
人工智能 运维 监控
容器服务Kubernetes场景下可观测体系生产级最佳实践
阿里云容器服务团队在2024年继续蝉联Gartner亚洲唯一全球领导者象限,其可观测体系是运维的核心能力之一。该体系涵盖重保运维、大规模集群稳定性、业务异常诊断等场景,特别是在AI和GPU场景下提供了全面的观测解决方案。通过Tracing、Metric和Log等技术,阿里云增强了对容器网络、存储及多集群架构的监控能力,帮助客户实现高效运维和成本优化。未来,结合AI助手,将进一步提升问题定位和解决效率,缩短MTTR,助力构建智能运维体系。
|
1月前
|
运维 Kubernetes Serverless
阿里云Argo X K8s玩转工作流引擎,实现大规模并行计算
本文基于2024云栖大会田双坤的演讲,介绍了Kubernetes作为云原生操作系统的角色及其在各类任务中的应用,重点探讨了Argo Workflows在Kubernetes上编排并行任务的能力。面对自建Argo Workflows的挑战,如稳定性、成本和安全性等问题,阿里巴巴云推出了全托管的Serverless Argo工作流,提供全托管、免运维、可观测和易集成的特点,显著提升了任务编排的效率和稳定性。适用于数据处理、科学计算、自动驾驶仿真等多个领域。
|
1月前
|
Kubernetes 容灾 调度
阿里云 ACK 高可用稳定性最佳实践
本文整理自2024云栖大会刘佳旭的演讲,主题为《ACK高可用稳定性最佳实践》。文章探讨了云原生高可用架构的重要性,通过Kubernetes的高可用案例分析,介绍了ACK在单集群高可用架构设计、产品能力和最佳实践方面的方法,包括控制面和数据面的高可用策略、工作负载高可用配置、企业版容器镜像服务高可用配置等内容,旨在帮助企业构建更加可靠和高效的应用运行环境。
|
5天前
|
缓存 容灾 网络协议
ACK One多集群网关:实现高效容灾方案
ACK One多集群网关可以帮助您快速构建同城跨AZ多活容灾系统、混合云同城跨AZ多活容灾系统,以及异地容灾系统。
|
16天前
|
Kubernetes Ubuntu 网络安全
ubuntu使用kubeadm搭建k8s集群
通过以上步骤,您可以在 Ubuntu 系统上使用 kubeadm 成功搭建一个 Kubernetes 集群。本文详细介绍了从环境准备、安装 Kubernetes 组件、初始化集群到管理和使用集群的完整过程,希望对您有所帮助。在实际应用中,您可以根据具体需求调整配置,进一步优化集群性能和安全性。
62 12
|
20天前
|
Kubernetes 网络协议 应用服务中间件
Kubernetes Ingress:灵活的集群外部网络访问的利器
《Kubernetes Ingress:集群外部访问的利器-打造灵活的集群网络》介绍了如何通过Ingress实现Kubernetes集群的外部访问。前提条件是已拥有Kubernetes集群并安装了kubectl工具。文章详细讲解了Ingress的基本组成(Ingress Controller和资源对象),选择合适的版本,以及具体的安装步骤,如下载配置文件、部署Nginx Ingress Controller等。此外,还提供了常见问题的解决方案,例如镜像下载失败的应对措施。最后,通过部署示例应用展示了Ingress的实际使用方法。
40 2
|
1月前
|
存储 Kubernetes 关系型数据库
阿里云ACK备份中心,K8s集群业务应用数据的一站式灾备方案
本文源自2024云栖大会苏雅诗的演讲,探讨了K8s集群业务为何需要灾备及其重要性。文中强调了集群与业务高可用配置对稳定性的重要性,并指出人为误操作等风险,建议实施周期性和特定情况下的灾备措施。针对容器化业务,提出了灾备的新特性与需求,包括工作负载为核心、云资源信息的备份,以及有状态应用的数据保护。介绍了ACK推出的备份中心解决方案,支持命名空间、标签、资源类型等维度的备份,并具备存储卷数据保护功能,能够满足GitOps流程企业的特定需求。此外,还详细描述了备份中心的使用流程、控制台展示、灾备难点及解决方案等内容,展示了备份中心如何有效应对K8s集群资源和存储卷数据的灾备挑战。
|
2月前
|
Kubernetes 监控 Cloud Native
Kubernetes集群的高可用性与伸缩性实践
Kubernetes集群的高可用性与伸缩性实践
83 1