容器服务kubernetes虚拟节点实践二:Job任务 + 虚拟节点

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 都说kuberntes集群的奔溃是从节点资源不够开始的,节点资源配置不足会导致pod无法及时运行,购买过多的节点又会导致资源的闲置浪费。虚拟节点就像是kubernetes集群的“魔法口袋”,让我们摆脱节点计算力不足的烦扰,也避免了节点的闲置浪费,满足“无限”计算力的想象,pod按需创建,轻松应对计算的波峰波谷。

都说kuberntes集群的奔溃是从节点资源不够开始的,节点资源配置不足会导致pod无法及时运行,购买过多的节点又会导致资源的闲置浪费。虚拟节点就像是kubernetes集群的“魔法口袋”,让我们摆脱节点计算力不足的烦扰,也避免了节点的闲置浪费,满足“无限”计算力的想象,pod按需创建,轻松应对计算的波峰波谷。

大规格Job任务的调度运行

对于很多kubernetes集群,通常同时支撑在线和离线多种负载,在线负载流量的波动性和离线计算任务的时间不确定性,导致在不同时刻负载的资源需求呈波峰波谷状,比如很多企业需要在周末、月中和月末进行大批量的数据计算,在特定的时间点需要大量的计算力,以应对突发的计算资源需求。

目前k8s通常的做法是通过autoscaler自动扩容节点(约2min启动一个新节点),直到pod被成功调度运行,当pod执行完成后会自动回收临时节点。这种扩容方式pod往往需要等待2min多时间才能被调度运行。

有没有可能无需创建新节点也可以快速运行这些Job任务呢?

image

通过虚拟节点的方式,我们可以用最小的运维成本(无需调整节点数量),来应对集群计算资源高峰压力。

虚拟节点就像是kubernetes集群的“魔法口袋”,让我们摆脱节点计算力不足的烦扰,也避免了节点的闲置浪费,满足“无限”计算力的需求,轻松应对波峰波谷的计算力波动。

示例:Job任务 + 虚拟节点

在前几篇的分享文章中,我们分别介绍了kubernetes虚拟节点的部署以及使用虚拟节点创建Ingress的示例。

这里我们将介绍虚拟节点的另一种常用典型场景:使用虚拟节点运行Job任务

示例环境为ACK Managed K8s托管集群,Master节点被托管(用户无需付费),2台Worker分别是4c8g规格,所以整个k8s集群的可用计算容量是8c16g。

假设我们需要运行一个Job离线任务做数据处理,Job的cpu/mem需求为16c32g,很明显Job无法在我们的k8s集群中运行,因为其资源需求已经超过k8s集群的8c16g计算容量。这里我们选择把这个Job任务调度到虚拟节点上,而不占用集群本身节点的计算资源。

下面我们使用一个简单的job作为示例。

kind: Job
metadata:
  name: pi
spec:
  template:
    spec:
      containers:
      - name: pi
        image: perl
        command: ["perl",  "-Mbignum=bpi", "-wle", "print bpi(2000)"]
        resources:
          requests:
            cpu: 16
            memory: 32Gi
      restartPolicy: Never
  backoffLimit: 4

执行job.yaml

#kubectl create ns vk
#kubectl label namespace vk virtual-node-affinity-injection=enabled

#kubectl -n vk apply  -f ./job.yaml
job "pi" created

#kubectl -n vk get pod -a
NAME       READY     STATUS      RESTARTS   AGE
pi-7cmwv   0/1       Completed   0          2m

#kubectl -n vk describe pod
Name:               pi-7cmwv
Namespace:          vk
Priority:           0
PriorityClassName:  <none>
Node:               virtual-kubelet/
...
Events:
  Type    Reason                 Age   From               Message
  ----    ------                 ----  ----               -------
  Normal  Scheduled              3m    default-scheduler  Successfully assigned vk/pi-7cmwv to virtual-kubelet
  Normal  SuccessfulMountVolume  2m    kubelet, eci       MountVolume.SetUp succeeded for volume "default-token-b2tff"
  Normal  Pulling                2m    kubelet, eci       pulling image "perl"
  Normal  Pulled                 2m    kubelet, eci       Successfully pulled image "perl"
  Normal  Created                2m    kubelet, eci       Created container
  Normal  Started                2m    kubelet, eci       Started container

虚拟节点中的pod约30s启动执行,按需收费,当pod执行完成后停止收费。可以看到,使用虚拟节点运行Job短时间任务可以节省计算成本,减轻集群运维负担,用户无需关心集群的计算资源是否充足,也无需关心节点的扩容和缩容

适用场景

虚拟节点不仅可运行在阿里云容器服务ACK集群中,也可运行在用户的自建Kubernetes集群中,或者线下IDC集群中(通过虚拟节点构建混合云方案),让用户的集群轻松获得云上“无限”弹性计算资源。
image

相关实践学习
巧用云服务器ECS制作节日贺卡
本场景带您体验如何在一台CentOS 7操作系统的ECS实例上,通过搭建web服务器,上传源码到web容器,制作节日贺卡网页。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
相关文章
|
2天前
|
Kubernetes 负载均衡 Cloud Native
云原生应用:Kubernetes在容器编排中的实践与挑战
【10月更文挑战第27天】Kubernetes(简称K8s)是云原生应用的核心容器编排平台,提供自动化、扩展和管理容器化应用的能力。本文介绍Kubernetes的基本概念、安装配置、核心组件(如Pod和Deployment)、服务发现与负载均衡、网络配置及安全性挑战,帮助读者理解和实践Kubernetes在容器编排中的应用。
17 4
|
3天前
|
Kubernetes 监控 Cloud Native
云原生应用:Kubernetes在容器编排中的实践与挑战
【10月更文挑战第26天】随着云计算技术的发展,容器化成为现代应用部署的核心趋势。Kubernetes(K8s)作为容器编排领域的佼佼者,以其强大的可扩展性和自动化能力,为开发者提供了高效管理和部署容器化应用的平台。本文将详细介绍Kubernetes的基本概念、核心组件、实践过程及面临的挑战,帮助读者更好地理解和应用这一技术。
20 3
|
4天前
|
存储 运维 Kubernetes
云端迁移:备份中心助力企业跨云迁移K8s容器服务平台
本文将简要介绍阿里云容器服务ACK的备份中心,并以某科技公司在其实际的迁移过程中遇到具体挑战为例,阐述如何有效地利用备份中心来助力企业的容器服务平台迁移项目。
|
10天前
|
Kubernetes 监控 开发者
专家级实践:利用Cloud Toolkit进行微服务治理与容器化部署
【10月更文挑战第19天】在当今的软件开发领域,微服务架构因其高可伸缩性、易于维护和快速迭代的特点而备受青睐。然而,随着微服务数量的增加,管理和服务治理变得越来越复杂。作为阿里巴巴云推出的一款免费且开源的开发者工具,Cloud Toolkit 提供了一系列实用的功能,帮助开发者在微服务治理和容器化部署方面更加高效。本文将从个人的角度出发,探讨如何利用 Cloud Toolkit 来应对这些挑战。
28 2
|
11天前
|
Kubernetes 持续交付 Docker
探索DevOps实践:利用Docker与Kubernetes实现微服务架构的自动化部署
【10月更文挑战第18天】探索DevOps实践:利用Docker与Kubernetes实现微服务架构的自动化部署
50 2
|
25天前
|
运维 Kubernetes Cloud Native
云原生时代的容器编排:Kubernetes入门与实践
【10月更文挑战第4天】在云计算的浪潮中,云原生技术以其敏捷、可扩展和高效的特点引领着软件开发的新趋势。作为云原生生态中的关键组件,Kubernetes(通常被称为K8s)已成为容器编排的事实标准。本文将深入浅出地介绍Kubernetes的基本概念,并通过实际案例引导读者理解如何利用Kubernetes进行高效的容器管理和服务部署。无论你是初学者还是有一定经验的开发者,本文都将为你打开云原生世界的大门,并助你一臂之力在云原生时代乘风破浪。
|
2月前
|
运维 Kubernetes 调度
阿里云容器服务 ACK One 分布式云容器企业落地实践
3年前的云栖大会,我们发布分布式云容器平台ACK One,随着3年的发展,很高兴看到ACK One在混合云,分布式云领域帮助到越来越多的客户,今天给大家汇报下ACK One 3年来的发展演进,以及如何帮助客户解决分布式领域多云多集群管理的挑战。
阿里云容器服务 ACK One 分布式云容器企业落地实践
|
2月前
|
人工智能 Kubernetes Cloud Native
阿里云容器服务,全面助力云上体育盛会
本文讲述了阿里云容器服务,通过安全稳定的产品能力和成熟的稳定性保障体系,全面助力云上体育赛场,促进科技之光与五环之光交相辉映。
阿里云容器服务,全面助力云上体育盛会
|
2月前
|
人工智能 Prometheus 监控
使用 NVIDIA NIM 在阿里云容器服务(ACK)中加速 LLM 推理
本文介绍了在阿里云容器服务 ACK 上部署 NVIDIA NIM,结合云原生 AI 套件和 KServe 快速构建高性能模型推理服务的方法。通过阿里云 Prometheus 和 Grafana 实现实时监控,并基于排队请求数配置弹性扩缩容策略,提升服务稳定性和效率。文章提供了详细的部署步骤和示例,帮助读者快速搭建和优化模型推理服务。
148 7
使用 NVIDIA NIM 在阿里云容器服务(ACK)中加速 LLM 推理
|
2月前
|
供应链 安全 Cloud Native
阿里云容器服务助力企业构建云原生软件供应链安全
针对软件供应链的攻击事件在以每年三位数的速度激增,其中三方或开源软件已经成为攻击者关注的重要目标,其攻击方式和技术也在不断演进。通过供应链的传播,一个底层软件包的漏洞的影响范围可以波及世界。企业亟需更加标准和完善的供应链风险洞察和防护机制。本文将结合最佳实践的形式,面向容器应用完整的生命周期展示如何基于容器服务ACK/ACR/ASM助力企业构建云原生软件供应链安全。

相关产品

  • 容器计算服务
  • 容器服务Kubernetes版