k8s--job 控制器

简介: k8s--job 控制器

介绍


job,主要用于负责批量处理(一次要处理指定数量任务)短暂的一次性(每个任务仅运行一次就结束)任务,job 特点如下

  • 当 job 创建的 pod 执行成功结束时,job 将记录成功结束的 pod 数量
  • 当成功结束的 pod 达到指定的数量时,job 将完成执行


Job的资源清单文件:

apiVersion: batch/v1 # 版本号
kind: Job # 类型       
metadata: # 元数据
  name: # job 名称 
  namespace: # 所属命名空间 
  labels: #标签
    controller: job
spec: # 详情描述
  completions: 1 # 指定 job 需要成功运行 Pods 的次数。默认值: 1
  parallelism: 1 # 指定 job 在任一时刻应该并发运行 Pods 的数量。默认值: 1,如果上面的 completions 为 6 ,这个参数为 3 ,表示有 6 个 pod,允许有 3 个 pod 并发运行
  activeDeadlineSeconds: 30 # 指定 job 可运行的时间期限,超过时间还未结束,系统将会尝试进行终止。
  backoffLimit: 6 # 指定 job 失败后进行重试的次数。默认是 6
  manualSelector: true # 是否可以使用 selector 选择器选择 pod,默认是 false
  selector: # 选择器,通过它指定该控制器管理哪些 pod
    matchLabels:      # Labels 匹配规则
      app: counter-pod
    matchExpressions: # Expressions 匹配规则
      - {key: app, operator: In, values: [counter-pod]}
  template: # 模板,当副本数量不足时,会根据下面的模板创建 pod 副本
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never # 重启策略只能设置为 Never 或者 OnFailure
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done"]

关于重启策略设置的说明

  • 如果指定为 OnFailure,则 job 会在 pod 出现故障时重启容器,而不是创建 pod,failed 次数不变
  • 如果指定为 Never,则 job 会在 pod 出现故障时创建新的 pod,并且故障 pod 不会消失,也不会重启,failed 次数加 1
  • 如果指定为 Always 的话,就意味着一直重启,意味着 job 任务会重复去执行了,当然不对,所以不能设置为 Always


job 的使用


创建 pc-job.yaml,内容如下:

apiVersion: batch/v1
kind: Job  # 类型为 job    
metadata:
  name: pc-job
  namespace: zouzou
spec:
  manualSelector: true # 是否可以使用 selector 选择器选择 pod,默认是false
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never # 设置重启策略
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

上面 job 要完成的任务是,循环输入 9、8、7、6、5、4、3、2、1,每输入一个就等待 3 s

为了更好的查看效果,我们这里在开两个窗口,分别监听 job 和 pod

创建 job

# 创建 job
kubectl create -f pc-job.yaml

查看上面动态监听的数据

从上面的结果可以看到,只有一个 job 在运行,而且最后 pod 完成之后, READY 的可提供服务的变为了 0

通过观察 pod 状态可以看到,pod 在运行完毕任务后,就会变成 Completed 状态

任务执行完成之后在来看下 job 和 pod

# job,COMPLETIONS / 前面的表示完成的数量,/ 后面的表示总的数量
[root@dce-10-6-215-215 ~]# kubectl get job -n zouzou -o wide
NAME     COMPLETIONS   DURATION   AGE     CONTAINERS   IMAGES         SELECTOR
pc-job   1/1           33s        5m53s   counter      busybox:1.30   app=counter-pod
# pod
[root@dce-10-6-215-215 ~]# kubectl get job -n zouzou -o wide
NAME     COMPLETIONS   DURATION   AGE     CONTAINERS   IMAGES         SELECTOR
pc-job   1/1           33s        5m53s   counter      busybox:1.30   app=counter-pod


并发执行 job


接下来,调整下 pod 运行的总数量和并行数量 即:在 spec 下设置下面两个选项 :

  • completions: 6  指定 job 需要成功运行 Pods 的次数为 6
  • parallelism: 3  指定 job 并发运行 Pods 的数量为 3

然后重新运行 job,观察效果,此时会发现,job 会每次运行 3 个 pod,总共执行了 6 个 pod

先删除之前的 job

kubectl delete  -f pc-job.yaml

修改 pc-job.yaml 文件,内容如下

apiVersion: batch/v1
kind: Job  # 类型为 job    
metadata:
  name: pc-job
  namespace: zouzou
spec:
  completions: 6 # 指定 job 需要成功运行 Pods 的次数。默认值: 1
  parallelism: 3 # 指定并发数 
  manualSelector: true # 是否可以使用 selector 选择器选择 pod,默认是false
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never # 设置重启策略
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

为了更好的查看效果,我们这里在开两个窗口,分别监听 job 和 pod

创建 job

kubectl create -f pc-job.yaml

查看 job

查看 pod

[root@dce-10-6-215-215 ~]# kubectl get pod -n zouzou -w
NAME                     READY   STATUS              RESTARTS   AGE
nginx3-c5d7c9466-vnt9c   1/1     Running             0          22h
pc-job-4xhlp             0/1     Pending             0          0s
pc-job-ls4wr             0/1     Pending             0          0s
pc-job-l48z9             0/1     Pending             0          0s
pc-job-4xhlp             0/1     Pending             0          0s
pc-job-ls4wr             0/1     Pending             0          0s
pc-job-l48z9             0/1     Pending             0          0s
pc-job-4xhlp             0/1     ContainerCreating   0          0s
pc-job-ls4wr             0/1     ContainerCreating   0          0s
pc-job-l48z9             0/1     ContainerCreating   0          0s
pc-job-l48z9             0/1     ContainerCreating   0          2s
pc-job-ls4wr             0/1     ContainerCreating   0          2s
pc-job-4xhlp             0/1     ContainerCreating   0          3s
pc-job-l48z9             0/1     ContainerCreating   0          3s
pc-job-ls4wr             0/1     ContainerCreating   0          3s
pc-job-4xhlp             0/1     ContainerCreating   0          3s
pc-job-ls4wr             1/1     Running             0          4s
pc-job-4xhlp             1/1     Running             0          4s
pc-job-l48z9             1/1     Running             0          4s
pc-job-l48z9             0/1     Completed           0          32s
pc-job-vhg2h             0/1     Pending             0          0s
pc-job-4xhlp             0/1     Completed           0          32s
pc-job-t8nkh             0/1     Pending             0          0s
pc-job-ls4wr             0/1     Completed           0          32s
pc-job-vhg2h             0/1     Pending             0          0s
pc-job-t8nkh             0/1     Pending             0          0s
pc-job-rr4md             0/1     Pending             0          0s
pc-job-rr4md             0/1     Pending             0          0s
pc-job-vhg2h             0/1     ContainerCreating   0          0s
pc-job-t8nkh             0/1     ContainerCreating   0          0s
pc-job-rr4md             0/1     ContainerCreating   0          0s
pc-job-vhg2h             0/1     ContainerCreating   0          3s
pc-job-t8nkh             0/1     ContainerCreating   0          3s
pc-job-vhg2h             0/1     ContainerCreating   0          3s
pc-job-rr4md             0/1     ContainerCreating   0          3s
pc-job-t8nkh             0/1     ContainerCreating   0          3s
pc-job-rr4md             0/1     ContainerCreating   0          3s
pc-job-vhg2h             1/1     Running             0          4s
pc-job-rr4md             1/1     Running             0          5s
pc-job-t8nkh             1/1     Running             0          5s
pc-job-vhg2h             0/1     Completed           0          32s
pc-job-rr4md             0/1     Completed           0          32s
pc-job-t8nkh             0/1     Completed           0          32s

可以从上面结果看到,在 0-3s 的时候,有三个 pod 在创建,在 4s 的时候,有三个 pod 在 Running,说明是并发了 3 个 pod。

在 32s 的时候,之前创建的三个 pod 已经完成了,状态为 Completed。这时候,又有三个 pod 在创建,因为是新创建的 pod,所以 AGE 为 0

等到 4s 的时候,三个 pod 已经创建完成了,开始运行。在 32s 的时候,三个 pod 运行完成了,状态为 Completed


删除 job


删除 job 也有两种方式,一种是通过 yaml 文件,如下

kubectl delete  -f pc-job.yaml

还有一种是通过 job 名称进行删除

kubectl delete job pc-job -n zouzou


相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
7月前
|
Kubernetes Cloud Native 应用服务中间件
云原生|kubernetes|ResourceQuota 资源与准入控制器
云原生|kubernetes|ResourceQuota 资源与准入控制器
120 0
|
1月前
|
Kubernetes 监控 调度
【赵渝强老师】K8s的DaemonSet控制器
DaemonSet控制器确保每个节点上运行一个Pod副本,适用于监控、日志收集等场景。通过示例创建DaemonSet并查看Pod信息,展示了其自动扩展和回收的能力。视频讲解和代码示例详细说明了DaemonSet的使用方法和调度机制。
|
1月前
|
Kubernetes 调度 容器
【赵渝强老师】K8s中Job控制器单工作队列的串行方式
Kubernetes中的Job控制器用于管理一次性任务,确保任务完成后不再重启。本文介绍了Job的工作原理、运行方式及示例,包括创建Job、查看Job和Pod信息等步骤,并附有视频讲解。
|
1月前
|
Kubernetes 双11 容器
【赵渝强老师】Kubernetes中的控制器
Kubernetes通过控制器管理Pod的生命周期,以应对不同场景需求,如Deployment、DaemonSet、Job等。控制器可自动调整Pod数量和重启故障Pod,确保系统稳定运行。视频讲解和详细内容见下文。
|
1月前
|
Kubernetes 应用服务中间件 nginx
【赵渝强老师】K8s中的Deployment控制器
Kubernetes中的Deployment用于部署无状态应用程序,管理Pod的数量、更新方式和资源限制。通过创建和管理ReplicaSet,Deployment可以实现Pod的自动扩缩容、滚动更新和回滚。本文介绍了Deployment的基本概念,并通过一个具体的示例演示了如何使用Deployment创建、更新和管理Pod。
|
1月前
|
存储 Kubernetes 调度
【赵渝强老师】K8s中Deployment控制器与StatefulSet控制器的区别
K8s中的Deployment控制器用于管理无状态应用程序,关注Pod数量、更新方式等;而StatefulSets控制器则管理有状态应用程序,提供持久存储和唯一标识符,适用于需要稳定网络标识符和持久化存储的场景。两者的主要区别在于是否维护状态和顺序。
|
1月前
|
存储 Kubernetes 调度
【赵渝强老师】K8s的有状态控制器StatefulSet
在Kubernetes中,StatefulSets用于部署有状态应用程序,提供持久存储和唯一标识符。与Deployment不同,StatefulSets确保Pod的标识符在重新调度后保持不变,适用于需要稳定网络标识符和持久存储的场景。本文介绍了StatefulSets的创建、扩容与缩容、更新与回滚等操作,并提供了具体示例和视频讲解。
|
1月前
|
Kubernetes Linux 调度
【赵渝强老师】K8s的周期性任务控制器CronJob
本文介绍了K8s中的CronJob控制器,它类似于Linux的crontab命令,用于管理和调度定时作业。CronJob可以设置在未来某一时间运行作业一次或在指定时间点重复运行作业。文章通过一个示例展示了如何创建和使用CronJob控制器,包括创建配置文件、应用配置、查看Pod信息和日志等步骤。同时,还解释了CronJob的时间表示方式及其限制。
|
1月前
|
Kubernetes 调度 容器
【赵渝强老师】K8s的Job控制器多工作队列的并行方式
Kubernetes Job 是一次性任务控制器,用于控制 Pod 中的容器执行特定任务。本文介绍了 Job 控制器的工作原理、运行方式及多工作队列并行执行的示例。示例中创建了 5 个作业,以 3 个队列并行执行,整个过程需 2 分钟。文中还提供了详细的 YAML 文件配置和执行命令。
|
7月前
|
运维 Kubernetes 监控
Kubernetes详解(十九)——Kubernetes Pod控制器
Kubernetes详解(十九)——Kubernetes Pod控制器
104 3