容器服务kubernetes虚拟节点实践二:Job任务 + 虚拟节点

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 都说kuberntes集群的奔溃是从节点资源不够开始的,节点资源配置不足会导致pod无法及时运行,购买过多的节点又会导致资源的闲置浪费。虚拟节点就像是kubernetes集群的“魔法口袋”,让我们摆脱节点计算力不足的烦扰,也避免了节点的闲置浪费,满足“无限”计算力的想象,pod按需创建,轻松应对计算的波峰波谷。

都说kuberntes集群的奔溃是从节点资源不够开始的,节点资源配置不足会导致pod无法及时运行,购买过多的节点又会导致资源的闲置浪费。虚拟节点就像是kubernetes集群的“魔法口袋”,让我们摆脱节点计算力不足的烦扰,也避免了节点的闲置浪费,满足“无限”计算力的想象,pod按需创建,轻松应对计算的波峰波谷。

大规格Job任务的调度运行

对于很多kubernetes集群,通常同时支撑在线和离线多种负载,在线负载流量的波动性和离线计算任务的时间不确定性,导致在不同时刻负载的资源需求呈波峰波谷状,比如很多企业需要在周末、月中和月末进行大批量的数据计算,在特定的时间点需要大量的计算力,以应对突发的计算资源需求。

目前k8s通常的做法是通过autoscaler自动扩容节点(约2min启动一个新节点),直到pod被成功调度运行,当pod执行完成后会自动回收临时节点。这种扩容方式pod往往需要等待2min多时间才能被调度运行。

有没有可能无需创建新节点也可以快速运行这些Job任务呢?

image

通过虚拟节点的方式,我们可以用最小的运维成本(无需调整节点数量),来应对集群计算资源高峰压力。

虚拟节点就像是kubernetes集群的“魔法口袋”,让我们摆脱节点计算力不足的烦扰,也避免了节点的闲置浪费,满足“无限”计算力的需求,轻松应对波峰波谷的计算力波动。

示例:Job任务 + 虚拟节点

在前几篇的分享文章中,我们分别介绍了kubernetes虚拟节点的部署以及使用虚拟节点创建Ingress的示例。

这里我们将介绍虚拟节点的另一种常用典型场景:使用虚拟节点运行Job任务

示例环境为ACK Managed K8s托管集群,Master节点被托管(用户无需付费),2台Worker分别是4c8g规格,所以整个k8s集群的可用计算容量是8c16g。

假设我们需要运行一个Job离线任务做数据处理,Job的cpu/mem需求为16c32g,很明显Job无法在我们的k8s集群中运行,因为其资源需求已经超过k8s集群的8c16g计算容量。这里我们选择把这个Job任务调度到虚拟节点上,而不占用集群本身节点的计算资源。

下面我们使用一个简单的job作为示例。

kind: Job
metadata:
  name: pi
spec:
  template:
    spec:
      containers:
      - name: pi
        image: perl
        command: ["perl",  "-Mbignum=bpi", "-wle", "print bpi(2000)"]
        resources:
          requests:
            cpu: 16
            memory: 32Gi
      restartPolicy: Never
  backoffLimit: 4

执行job.yaml

#kubectl create ns vk
#kubectl label namespace vk virtual-node-affinity-injection=enabled

#kubectl -n vk apply  -f ./job.yaml
job "pi" created

#kubectl -n vk get pod -a
NAME       READY     STATUS      RESTARTS   AGE
pi-7cmwv   0/1       Completed   0          2m

#kubectl -n vk describe pod
Name:               pi-7cmwv
Namespace:          vk
Priority:           0
PriorityClassName:  <none>
Node:               virtual-kubelet/
...
Events:
  Type    Reason                 Age   From               Message
  ----    ------                 ----  ----               -------
  Normal  Scheduled              3m    default-scheduler  Successfully assigned vk/pi-7cmwv to virtual-kubelet
  Normal  SuccessfulMountVolume  2m    kubelet, eci       MountVolume.SetUp succeeded for volume "default-token-b2tff"
  Normal  Pulling                2m    kubelet, eci       pulling image "perl"
  Normal  Pulled                 2m    kubelet, eci       Successfully pulled image "perl"
  Normal  Created                2m    kubelet, eci       Created container
  Normal  Started                2m    kubelet, eci       Started container

虚拟节点中的pod约30s启动执行,按需收费,当pod执行完成后停止收费。可以看到,使用虚拟节点运行Job短时间任务可以节省计算成本,减轻集群运维负担,用户无需关心集群的计算资源是否充足,也无需关心节点的扩容和缩容

适用场景

虚拟节点不仅可运行在阿里云容器服务ACK集群中,也可运行在用户的自建Kubernetes集群中,或者线下IDC集群中(通过虚拟节点构建混合云方案),让用户的集群轻松获得云上“无限”弹性计算资源。
image

相关实践学习
巧用云服务器ECS制作节日贺卡
本场景带您体验如何在一台CentOS 7操作系统的ECS实例上,通过搭建web服务器,上传源码到web容器,制作节日贺卡网页。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
相关文章
|
2月前
|
存储 监控 对象存储
ACK 容器监控存储全面更新:让您的应用运行更稳定、更透明
针对本地存储和 PVC 这两种容器存储使用方式,我们对 ACK 的容器存储监控功能进行了全新升级。此次更新完善了对集群中不同存储类型的监控能力,不仅对之前已有的监控大盘进行了优化,还针对不同的云存储类型,上线了全新的监控大盘,确保用户能够更好地理解和管理容器业务应用的存储资源。
361 183
|
8天前
|
Kubernetes 监控 Serverless
基于阿里云Serverless Kubernetes(ASK)的无服务器架构设计与实践
无服务器架构(Serverless Architecture)在云原生技术中备受关注,开发者只需专注于业务逻辑,无需管理服务器。阿里云Serverless Kubernetes(ASK)是基于Kubernetes的托管服务,提供极致弹性和按需付费能力。本文深入探讨如何使用ASK设计和实现无服务器架构,涵盖事件驱动、自动扩展、无状态设计、监控与日志及成本优化等方面,并通过图片处理服务案例展示具体实践,帮助构建高效可靠的无服务器应用。
|
4天前
|
存储 监控 对象存储
ACK 容器监控存储全面更新:让您的应用运行更稳定、更透明
ACK 容器监控存储全面更新:让您的应用运行更稳定、更透明
|
6天前
|
存储 监控 对象存储
ACK 容器监控存储全面更新:让您的应用运行更稳定、更透明
ACK 容器监控存储全面更新:让您的应用运行更稳定、更透明
|
8天前
|
监控 Kubernetes Cloud Native
基于阿里云容器服务Kubernetes版(ACK)的微服务架构设计与实践
本文介绍了如何基于阿里云容器服务Kubernetes版(ACK)设计和实现微服务架构。首先概述了微服务架构的优势与挑战,如模块化、可扩展性及技术多样性。接着详细描述了ACK的核心功能,包括集群管理、应用管理、网络与安全、监控与日志等。在设计基于ACK的微服务架构时,需考虑服务拆分、通信、发现与负载均衡、配置管理、监控与日志以及CI/CD等方面。通过一个电商应用案例,展示了用户服务、商品服务、订单服务和支付服务的具体部署步骤。最后总结了ACK为微服务架构提供的强大支持,帮助应对各种挑战,构建高效可靠的云原生应用。
|
13天前
|
弹性计算 人工智能 资源调度
DeepSeek大解读系列公开课上新!阿里云专家主讲云上智能算力、Kubernetes容器服务、DeepSeek私有化部署
智猩猩「DeepSeek大解读」系列公开课第三期即将开讲,聚焦阿里云弹性计算助力大模型训练与部署。三位专家将分别讲解智能算力支撑、Kubernetes容器服务在AI场景的应用实践、以及DeepSeek一键部署和多渠道应用集成,分享云计算如何赋能大模型发展。欲观看直播,可关注【智猩猩GenAI视频号】预约。 (239字符)
|
2月前
|
存储 运维 Kubernetes
正式开源,Doris Operator 支持高效 Kubernetes 容器化部署方案
飞轮科技推出了 Doris 的 Kubernetes Operator 开源项目(简称:Doris Operator),并捐赠给 Apache 基金会。该工具集成了原生 Kubernetes 资源的复杂管理能力,并融合了 Doris 组件间的分布式协同、用户集群形态的按需定制等经验,为用户提供了一个更简洁、高效、易用的容器化部署方案。
正式开源,Doris Operator 支持高效 Kubernetes 容器化部署方案
|
6天前
|
监控 Cloud Native Java
基于阿里云容器服务(ACK)的微服务架构设计与实践
本文介绍如何利用阿里云容器服务Kubernetes版(ACK)构建高可用、可扩展的微服务架构。通过电商平台案例,展示基于Java(Spring Boot)、Docker、Nacos等技术的开发、容器化、部署流程,涵盖服务注册、API网关、监控日志及性能优化实践,帮助企业实现云原生转型。
|
2月前
|
存储 监控 对象存储
ACK容器监控存储全面更新:让您的应用运行更稳定、更透明
介绍升级之后的ACK容器监控体系,包括各大盘界面展示和概要介绍。
70 21
|
Kubernetes Java 开发者
部署应用到阿里云容器服务 Kubernetes| 学习笔记
快速学习部署应用到阿里云容器服务 Kubernetes。
224 0
部署应用到阿里云容器服务 Kubernetes| 学习笔记

相关产品

  • 容器计算服务
  • 容器服务Kubernetes版