k8s学习--kubernetes服务自动伸缩之垂直伸缩(资源伸缩)VPA详细解释与安装

简介: k8s学习--kubernetes服务自动伸缩之垂直伸缩(资源伸缩)VPA详细解释与安装

@TOC


前言

有任何疑问或不懂的地方均可评论或私信,欢迎交流

VPA简介

官方链接
https://github.com/kubernetes/autoscaler/tree/master/vertical-pod-autoscaler

简单理解

与HPA类似,区别在于HPA自动控制的pod副本数量
而VPA则自动控制的是CPU 和 内存 的requests,从而允许在节点上进行适当的调度,以便为每个 Pod 提供适当的资源。

注: 不能与HPA(Horizontal Pod Autoscaler )一起使用

这个是博主写的有关HPA的博客,有兴趣的可以看看
链接: HPA详细解释与应用

详细解释

在 Kubernetes(k8s)中,Vertical Pod Autoscaler(VPA)是一种自动调节 Pod 中容器资源请求(CPU 和内存)的工具。它可以根据 Pod 的实际使用情况自动调整这些资源请求,以确保应用程序具有足够的资源运行,并同时避免资源的浪费。

VPA的优缺点

优点

1.自动化资源管理

简化运维:VPA 自动调整 Pod 的资源请求,减少手动调整的工作量。
动态响应:能实时根据实际资源使用情况调整请求,适应负载变化。

2.资源优化

避免资源浪费:确保 Pod 只请求所需的资源,降低不必要的资源分配。
提高资源利用率:通过优化资源请求,增加集群中可用资源的数量,提高整体资源利用率。

3.性能和稳定性提升

防止资源不足:自动增加资源请求,确保应用在高负载时也能正常运行。
优化性能:通过合理的资源配置,确保应用程序性能得到保障。

5.成本节约

降低运营成本:通过精准的资源配置,减少过度配置带来的成本,提高资源利用效率。

6.集成性和灵活性

兼容性好:VPA 可以与 Kubernetes 中的其他工具(如 HPA)一起使用,以实现全面的自动扩展策略。
可配置性强:提供多种更新策略(如 Auto、Recreate、Initial),适应不同的应用场景。

缺点

1.Pod 重启影响可用性

重启开销:资源请求的更新通常需要重启 Pod,这可能会导致服务短暂不可用,影响用户体验。
滚动更新问题:在滚动更新过程中,如果频繁调整资源请求,可能会导致更新过程复杂化。

2.与 HPA 冲突

配置复杂
同时使用 VPA 和 Horizontal Pod Autoscaler (HPA) 时,可能会产生冲突,需要谨慎配置和管理。
负载模式不同
HPA 和 VPA 针对不同的负载模式(水平扩展 vs. 垂直扩展),混用时需要综合考虑应用负载特性。

3.资源监控和推荐滞后:

数据滞后 :VPA 基于历史资源使用数据做出推荐,可能存在一定的滞后性,无法实时反映最新的负载变化。
推荐准确性:在负载波动剧烈的情况下,推荐值可能不够准确,导致资源配置不够理想。

4.实现复杂度:

依赖数据质量:VPA 的推荐依赖于准确的资源使用数据,集群监控和数据收集的质量对 VPA 的效果有直接影响。
维护复杂度:需要对 VPA 本身进行维护和监控,确保其正常运行和推荐的准确性。

核心概念

Resource Requests 和 Limits

Requests
容器启动时所需的最小资源量,Kubernetes 会基于 requests 来做调度决策。
Limits
容器能使用的最大资源量,防止单个容器使用过多资源。


自动调节

Vertical Scaling:不同于水平扩展(Horizontal Scaling)通过增加 Pod 数量来应对负载,垂直扩展(Vertical Scaling)是调整单个 Pod 的资源配额。

VPA 的工作原理

监控:VPA 通过监控 Pod 的实际资源使用情况来确定是否需要调整资源请求。
推荐:基于历史数据和当前使用情况,VPA 会生成资源请求的推荐值。
更新:VPA 可以自动更新 Pod 的资源请求,触发 Pod 重启使配置生效。

更新策略可以配置为以下几种:
Auto:自动更新 Pod。
Recreate:删除并重新创建 Pod。
Initial:只在 Pod 初始创建时设置资源请求。

VPA 组件

Recommender:收集资源使用数据并生成资源请求的推荐值。
Updater:负责执行资源请求的更新,可以根据策略决定是否重启 Pod。
Admission Controller:在 Pod 创建和更新时应用资源请求的推荐值。

VPA 使用场景

应用负载变化:适合那些资源需求动态变化的应用。
节省成本:通过合理配置资源请求和限制,避免资源浪费。
提高稳定性:确保应用有足够的资源应对高负载情况。

应用

环境

虚拟机

Ip 主机名 cpu 内存 硬盘
192.168.10.11 master01 2cpu双核 4G 100G
192.168.10.12 worker01 2cpu双核 4G 100G
192.168.10.13 worker02 2cpu双核 4G 100G

版本 centos7.9
已部署k8s-1.27

1.部署metrics-server及VPA

(1)部署metrics-server

master上操作

wget https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/high-availability-1.21+.yaml

kubelet 证书需要由集群证书颁发机构签名

(或者通过向 Metrics Server 传递参数 --kubelet-insecure-tls 来禁用证书验证)。

更改文件

vim high-availability-1.21+.yaml

149行添加
image.png

解释
因为是虚拟机环境,这条命令是允许 kubelet 使用不安全的 TLS 连接,生产环境不建议使用,这里是便于快速部署和测试已看到效果。

kubectl apply -f high-availability-1.21+.yaml 
watch kubectl get pods -n kube-system

耐心等待,如果一直起不来就先删除pod再重启个节点docker。
image.png

kubectl top nodes

image.png

kubectl top pods -n kube-system

image.png

这里就部署好了

(2)升级openssl(所有节点)

curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum install -y openssl-devel openssl11 openssl11-devel

检查下载的 OpenSSL新库版本

openssl11 version

image.png

查看旧版本路径

which openssl

image.png

查看新版本路径

which openssl11

image.png

删除系统默认版本,并创建一个软连接指向新版本

rm -rf `which openssl`
ln -s /usr/bin/openssl11 /usr/bin/openssl

查看默认版本,可以看到已经是新版本了

openssl version

image.png

(3)部署VPA

master节点

mkdir vpa
cd vpa
git clone https://github.com/kubernetes/autoscaler.git
cd autoscaler/vertical-pod-autoscaler/
ls hack/
bash ./hack/vpa-up.sh
cd ..
kubectl get pods -n kube-system

没有running就等一会
image.png

这样就好了

2.VPA策略

在VPA中,updateMode 是一个重要的配置选项,它决定了VPA如何应用其提供的资源建议。根据不同的设置,VPA可以采取不同的策略来更新Pod的资源配置:

Off
VPA不会应用任何资源推荐,只是收集和显示数据。

Initial:
VPA只会在Pod创建时应用资源推荐。一旦Pod启动,即使后续有新的资源推荐,也不会再进行调整。

Recreate:
当VPA生成新的资源推荐时,它会终止当前的Pod并重新创建一个新的Pod,新Pod将采用最新的资源推荐。这种方式会导致服务短暂中断,但能确保立即应用新的资源设置。

Auto:
这是默认模式。在这种模式下,VPA会尝试在线调整运行中的Pod的资源请求和限制,而无需重启Pod。如果无法在线调整(例如,由于内核或Kubernetes版本的限制),则会选择重新创建Pod。

由于篇幅过长,关于模式的演示会单独出(水)一篇博客

相关文章
|
20天前
|
弹性计算 人工智能 架构师
阿里云携手Altair共拓云上工业仿真新机遇
2024年9月12日,「2024 Altair 技术大会杭州站」成功召开,阿里云弹性计算产品运营与生态负责人何川,与Altair中国技术总监赵阳在会上联合发布了最新的“云上CAE一体机”。
阿里云携手Altair共拓云上工业仿真新机遇
|
16天前
|
机器学习/深度学习 算法 大数据
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
2024“华为杯”数学建模竞赛,对ABCDEF每个题进行详细的分析,涵盖风电场功率优化、WLAN网络吞吐量、磁性元件损耗建模、地理环境问题、高速公路应急车道启用和X射线脉冲星建模等多领域问题,解析了问题类型、专业和技能的需要。
2559 21
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
|
12天前
|
存储 关系型数据库 分布式数据库
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统,结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性,并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件,实现图数据和向量数据的统一存储与检索,提升了RAG系统的性能和效果。
|
14天前
|
人工智能 IDE 程序员
期盼已久!通义灵码 AI 程序员开启邀测,全流程开发仅用几分钟
在云栖大会上,阿里云云原生应用平台负责人丁宇宣布,「通义灵码」完成全面升级,并正式发布 AI 程序员。
|
16天前
|
机器学习/深度学习 算法 数据可视化
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
2024年中国研究生数学建模竞赛C题聚焦磁性元件磁芯损耗建模。题目背景介绍了电能变换技术的发展与应用,强调磁性元件在功率变换器中的重要性。磁芯损耗受多种因素影响,现有模型难以精确预测。题目要求通过数据分析建立高精度磁芯损耗模型。具体任务包括励磁波形分类、修正斯坦麦茨方程、分析影响因素、构建预测模型及优化设计条件。涉及数据预处理、特征提取、机器学习及优化算法等技术。适合电气、材料、计算机等多个专业学生参与。
1553 16
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
|
18天前
|
编解码 JSON 自然语言处理
通义千问重磅开源Qwen2.5,性能超越Llama
击败Meta,阿里Qwen2.5再登全球开源大模型王座
784 14
|
13天前
|
人工智能 开发框架 Java
重磅发布!AI 驱动的 Java 开发框架:Spring AI Alibaba
随着生成式 AI 的快速发展,基于 AI 开发框架构建 AI 应用的诉求迅速增长,涌现出了包括 LangChain、LlamaIndex 等开发框架,但大部分框架只提供了 Python 语言的实现。但这些开发框架对于国内习惯了 Spring 开发范式的 Java 开发者而言,并非十分友好和丝滑。因此,我们基于 Spring AI 发布并快速演进 Spring AI Alibaba,通过提供一种方便的 API 抽象,帮助 Java 开发者简化 AI 应用的开发。同时,提供了完整的开源配套,包括可观测、网关、消息队列、配置中心等。
578 6
|
7天前
|
Docker 容器
Docker操作 (五)
Docker操作 (五)
161 69
|
7天前
|
Docker 容器
Docker操作 (三)
Docker操作 (三)
151 69
|
18天前
|
人工智能 自动驾驶 机器人
吴泳铭:AI最大的想象力不在手机屏幕,而是改变物理世界
过去22个月,AI发展速度超过任何历史时期,但我们依然还处于AGI变革的早期。生成式AI最大的想象力,绝不是在手机屏幕上做一两个新的超级app,而是接管数字世界,改变物理世界。
611 52
吴泳铭:AI最大的想象力不在手机屏幕,而是改变物理世界