容器服务kubernetes虚拟节点实践二:Job任务 + 虚拟节点-阿里云开发者社区

开发者社区> 阿里云容器服务 ACK> 正文
登录阅读全文

容器服务kubernetes虚拟节点实践二:Job任务 + 虚拟节点

简介: 都说kuberntes集群的奔溃是从节点资源不够开始的,节点资源配置不足会导致pod无法及时运行,购买过多的节点又会导致资源的闲置浪费。虚拟节点就像是kubernetes集群的“魔法口袋”,让我们摆脱节点计算力不足的烦扰,也避免了节点的闲置浪费,满足“无限”计算力的想象,pod按需创建,轻松应对计算的波峰波谷。

都说kuberntes集群的奔溃是从节点资源不够开始的,节点资源配置不足会导致pod无法及时运行,购买过多的节点又会导致资源的闲置浪费。虚拟节点就像是kubernetes集群的“魔法口袋”,让我们摆脱节点计算力不足的烦扰,也避免了节点的闲置浪费,满足“无限”计算力的想象,pod按需创建,轻松应对计算的波峰波谷。

大规格Job任务的调度运行

对于很多kubernetes集群,通常同时支撑在线和离线多种负载,在线负载流量的波动性和离线计算任务的时间不确定性,导致在不同时刻负载的资源需求呈波峰波谷状,比如很多企业需要在周末、月中和月末进行大批量的数据计算,在特定的时间点需要大量的计算力,以应对突发的计算资源需求。

目前k8s通常的做法是通过autoscaler自动扩容节点(约2min启动一个新节点),直到pod被成功调度运行,当pod执行完成后会自动回收临时节点。这种扩容方式pod往往需要等待2min多时间才能被调度运行。

有没有可能无需创建新节点也可以快速运行这些Job任务呢?

image

通过虚拟节点的方式,我们可以用最小的运维成本(无需调整节点数量),来应对集群计算资源高峰压力。

虚拟节点就像是kubernetes集群的“魔法口袋”,让我们摆脱节点计算力不足的烦扰,也避免了节点的闲置浪费,满足“无限”计算力的需求,轻松应对波峰波谷的计算力波动。

示例:Job任务 + 虚拟节点

在前几篇的分享文章中,我们分别介绍了kubernetes虚拟节点的部署以及使用虚拟节点创建Ingress的示例。

这里我们将介绍虚拟节点的另一种常用典型场景:使用虚拟节点运行Job任务

示例环境为ACK Managed K8s托管集群,Master节点被托管(用户无需付费),2台Worker分别是4c8g规格,所以整个k8s集群的可用计算容量是8c16g。

假设我们需要运行一个Job离线任务做数据处理,Job的cpu/mem需求为16c32g,很明显Job无法在我们的k8s集群中运行,因为其资源需求已经超过k8s集群的8c16g计算容量。这里我们选择把这个Job任务调度到虚拟节点上,而不占用集群本身节点的计算资源。

下面我们使用一个简单的job作为示例。

kind: Job
metadata:
  name: pi
spec:
  template:
    spec:
      containers:
      - name: pi
        image: perl
        command: ["perl",  "-Mbignum=bpi", "-wle", "print bpi(2000)"]
        resources:
          requests:
            cpu: 16
            memory: 32Gi
      restartPolicy: Never
  backoffLimit: 4

执行job.yaml

#kubectl create ns vk
#kubectl label namespace vk virtual-node-affinity-injection=enabled

#kubectl -n vk apply  -f ./job.yaml
job "pi" created

#kubectl -n vk get pod -a
NAME       READY     STATUS      RESTARTS   AGE
pi-7cmwv   0/1       Completed   0          2m

#kubectl -n vk describe pod
Name:               pi-7cmwv
Namespace:          vk
Priority:           0
PriorityClassName:  <none>
Node:               virtual-kubelet/
...
Events:
  Type    Reason                 Age   From               Message
  ----    ------                 ----  ----               -------
  Normal  Scheduled              3m    default-scheduler  Successfully assigned vk/pi-7cmwv to virtual-kubelet
  Normal  SuccessfulMountVolume  2m    kubelet, eci       MountVolume.SetUp succeeded for volume "default-token-b2tff"
  Normal  Pulling                2m    kubelet, eci       pulling image "perl"
  Normal  Pulled                 2m    kubelet, eci       Successfully pulled image "perl"
  Normal  Created                2m    kubelet, eci       Created container
  Normal  Started                2m    kubelet, eci       Started container

虚拟节点中的pod约30s启动执行,按需收费,当pod执行完成后停止收费。可以看到,使用虚拟节点运行Job短时间任务可以节省计算成本,减轻集群运维负担,用户无需关心集群的计算资源是否充足,也无需关心节点的扩容和缩容

适用场景

虚拟节点不仅可运行在阿里云容器服务ACK集群中,也可运行在用户的自建Kubernetes集群中,或者线下IDC集群中(通过虚拟节点构建混合云方案),让用户的集群轻松获得云上“无限”弹性计算资源。
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
阿里云容器服务 ACK
使用钉钉扫一扫加入圈子
+ 订阅

云端最佳容器应用运行环境,安全、稳定、极致弹性

官方博客
官网链接