【从入门到放弃-Kubernetes】Kubernetes进阶-pod水平自动伸缩(hpa)

简介:

前言

前面 Kubernetes入门 系列,我们学习了k8s的基础知识和简单用法,今天开始我们继续进一步学习,了解一些复杂和高级用法。本文我们学习pod水平自动扩缩容即hpa。
hpa全称是Horizontal Pod Autoscaler,可以基于CPU的利用率或其它指标自动伸缩replication controller、deployment和 replica set 中的 pod 数量。
我们可以根据标准应用系统的CPU等指标的周期性变化情况,通过HPA进行动态扩缩容以此来提高集群的资源利用率。

准备

hpa通过metrics-server,监控集群运行指标触发扩缩容的,使用前需要先确保metrics-server是可用状态。

minikube addons list

观察metrics-server是否是可用状态,如果是disabled。则需要执行以下命令开启。

minikube addons enable metrics-server

此时执行kubectl top命令即可查看pod、node的cpu、memory的使用消耗情况。

如果想禁用metrics-server,disable即可

minikube addons disable metrics-server

启动应用并暴露服务

我们参考官方demo,使用PHP提供http服务,进行CPU密集型计算。观察CPU和pod自动扩缩容情况。

准备镜像

这里创建一个CPU密集型PHP脚本,并打成镜像。

也可以直接用我打好的镜像 registry.cn-hangzhou.aliyuncs.com/larswang/php-hpa:1.0,跳过这一步,直接看Deployment。

文件及源码地址见:AloofJr

# Dockerfile
FROM php:7.4.6-apache
ADD index.php /var/www/html/index.php
RUN chmod a+rx index.php
// index.php
<?php
  $x = 0.0001;
  for ($i = 0; $i <= 1000000; $i++) {
    $x += sqrt($x);
  }
  echo "OK!";
?>

Deployment

apiVersion: apps/v1
kind: Deployment
metadata:
  name: php-hpa-deployment
  labels:
    app: php-hpa
spec:
  replicas: 1
  selector:
    matchLabels:
      app: php-hpa
  template:
    metadata:
      labels:
        app: php-hpa
    spec:
      containers:
      - name: php-hpa
        image: registry.cn-hangzhou.aliyuncs.com/larswang/php-hpa:1.0
        ports:
        - containerPort: 80
        resources:
          requests:
            cpu: 200m

Service 暴露服务

apiVersion: v1
kind: Service
metadata:
  name: php-hpa-service
spec:
  type: ClusterIP
  selector:
    app: php-hpa
  ports:
    - port: 80

HPA

创建HPA

创建hpa设置pod扩缩最多和最少的数量以及执行扩缩容的条件。

apiVersion: autoscaling/v1
kind: HorizontalPodAutoscaler
metadata:
  name: php-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: php-hpa-deployment
  minReplicas: 1 #pod最小数量
  maxReplicas: 10 #pod最大数量
  targetCPUUtilizationPercentage: 10 #cpu使用率超过10%进行扩容,小于10%缩容

观察HPA运行情况

kubectl get hpa

可以看到以下指标
TARGETS:目前CPU使用率是0%,10%是我们设置的扩缩容阙值。
MINPODS:pod最小数量
MAXPODS:pod最大数量
REPLICAS:当前副本数,因为我们的cpu使用率是0%,当前副本数是1。

增加负载

我们使用busybox,不断的对php-hpa-service发起http调用,增加服务端压力。

# 使用busybox并进入容器
kubectl run  -i --rm  --tty load-generator --image=busybox /bin/sh

# 不断发起http请求
while true; do wget -q -O- http://php-hpa-service; done

查看hpa情况

cpu利用率143%了,此时REPLICAS还是1,再等一会儿

可以看到REPLICAS已经扩到了10个pod,cpu负载平均到了35%,虽然比我们配置的10%高,但是扩到了最多MAXPODS 10个,所以不会继续扩容了

降低负载

停掉load-generator发压,等几分钟(可以通过--horizontal-pod-autoscaler-downscale-stabilization设置缩容冷却时间,默认五分钟)。

可以看到REPLICAS缩到了1个pod。

总结

上面介绍了根据CPU利用率进行HPA的操作,其实在实际工作中,HPA是一个非常复杂的课题,因为影响应用运行状态的不单单是CPU,会和内存、ERROR数、线程数等多项指标相关。

在扩容时,还要考虑资源额度、数据库连接数等。

在缩容时则需要更小心了,要时刻关注应用的运行状态,是很容易引发容量故障的。

更复杂的还有,应用系统是否非标、是CPU密集型还是内存密集型应用、系统的流量变化周期、如何应对突发流量等等。

欢迎感兴趣或有实战经验的大神们来交流探讨。

文件用到的yaml配置可以在AloofJr找到。

更多文章

见我的博客:https://nc2era.com

written by AloofJr,转载请注明出处

相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。 &nbsp; &nbsp; 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践:Docker和Kubernetes入门
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术成为企业提升敏捷性和效率的关键。本篇文章将引导读者了解如何利用Docker进行容器化打包及部署,以及Kubernetes集群管理的基础操作,帮助初学者快速入门云原生的世界。通过实际案例分析,我们将深入探讨这些技术在现代IT架构中的应用与影响。
813 2
|
Prometheus Kubernetes 监控
深入探索Kubernetes中的Pod自动扩展(Horizontal Pod Autoscaler, HPA)
深入探索Kubernetes中的Pod自动扩展(Horizontal Pod Autoscaler, HPA)
|
Kubernetes Docker 容器
Kubernetes与Docker参数对照:理解Pod中的command、args与Dockerfile中的CMD、ENTRYPOINT。
需要明确的是,理解这些都需要对Docker和Kubernetes有一定深度的理解,才能把握二者的区别和联系。虽然它们都是容器技术的二个重要组成部分,但各有其特性和适用场景,理解它们的本质和工作方式,才能更好的使用这些工具,将各自的优点整合到生产环境中,实现软件的快速开发和部署。
678 25
|
Kubernetes Shell Windows
【Azure K8S | AKS】在AKS的节点中抓取目标POD的网络包方法分享
在AKS中遇到复杂网络问题时,可通过以下步骤进入特定POD抓取网络包进行分析:1. 使用`kubectl get pods`确认Pod所在Node;2. 通过`kubectl node-shell`登录Node;3. 使用`crictl ps`找到Pod的Container ID;4. 获取PID并使用`nsenter`进入Pod的网络空间;5. 在`/var/tmp`目录下使用`tcpdump`抓包。完成后按Ctrl+C停止抓包。
627 12
|
存储 Kubernetes Docker
【赵渝强老师】Kubernetes中Pod的基础容器
Pod 是 Kubernetes 中的基本单位,代表集群上运行的一个进程。它由一个或多个容器组成,包括业务容器、基础容器、初始化容器和临时容器。基础容器负责维护 Pod 的网络空间,对用户透明。文中附有图片和视频讲解,详细介绍了 Pod 的组成结构及其在网络配置中的作用。
381 1
【赵渝强老师】Kubernetes中Pod的基础容器
|
Kubernetes Cloud Native 开发者
云原生入门:Kubernetes的简易指南
【10月更文挑战第41天】本文将带你进入云原生的世界,特别是Kubernetes——一个强大的容器编排平台。我们将一起探索它的基本概念和操作,让你能够轻松管理和部署应用。无论你是新手还是有经验的开发者,这篇文章都能让你对Kubernetes有更深入的理解。
|
Kubernetes Cloud Native 微服务
云原生入门与实践:Kubernetes的简易部署
云原生技术正改变着现代应用的开发和部署方式。本文将引导你了解云原生的基础概念,并重点介绍如何使用Kubernetes进行容器编排。我们将通过一个简易的示例来展示如何快速启动一个Kubernetes集群,并在其上运行一个简单的应用。无论你是云原生新手还是希望扩展现有知识,本文都将为你提供实用的信息和启发性的见解。
|
运维 Kubernetes Cloud Native
云原生技术入门:Kubernetes和Docker的协同工作
【10月更文挑战第43天】在云计算时代,云原生技术成为推动现代软件部署和运行的关键力量。本篇文章将带你了解云原生的基本概念,重点探讨Kubernetes和Docker如何协同工作以支持容器化应用的生命周期管理。通过实际代码示例,我们将展示如何在Kubernetes集群中部署和管理Docker容器,从而为初学者提供一条清晰的学习路径。
|
运维 Kubernetes Shell
【赵渝强老师】K8s中Pod的临时容器
Pod 是 Kubernetes 中的基本调度单位,由一个或多个容器组成,包括业务容器、基础容器、初始化容器和临时容器。临时容器用于故障排查和性能诊断,不适用于构建应用程序。当 Pod 中的容器异常退出或容器镜像不包含调试工具时,临时容器非常有用。文中通过示例展示了如何使用 `kubectl debug` 命令创建临时容器进行调试。
460 1
|
Kubernetes 调度 容器
【赵渝强老师】K8s中Pod中的业务容器
Pod 是 Kubernetes 中的基本调度单元,由一个或多个容器组成。除了业务容器,Pod 还包括基础容器、初始化容器和临时容器。本文通过示例介绍如何创建包含业务容器的 Pod,并提供了一个视频讲解。示例中创建了一个名为 &quot;busybox-container&quot; 的业务容器,并使用 `kubectl create -f firstpod.yaml` 命令部署 Pod。
358 1

推荐镜像

更多