Kubernetes----Job控制器

简介: Kubernetes----Job控制器

【原文链接】

一、Job控制器简介

1.1 Job控制器简介

Job,主要用于负责批量处理短暂的一次性任务,Job特点如下:

  • 当Job创建的Pod执行成功时,job将几乎成功结束的pod数量
  • 当成功结束的pod达到指定的数量时,job将完成执行

1.2 Job控制器资源文件

apiVersion: batch/v1   # 版本号
kind: Job  # 类型
metadata: # 元数据
  name: # rs名称
  namespae: # 所属命名空间
  labels:  # 标签
    controller: job
spec:  # 详情描述
  completions: 1 # 指定Job需要成功运行Pod的次数,默认值为1
  parallelism: 1 # 指定Job在同一时刻应该并发运行Pod的数量,默认值为1
  activeDeadlineSeconds: 30  # 指定Job可运行的时间期限,超过时间还为结束,系统将会尝试进行终止
  backoffLimit: 6  # 指定Job失败后进行重试的次数,默认值为6
  manualSelector: true  # 是否可以使用selector选择器选择pod,默认是false
  selector:  # 选择器,通过它指定该控制器管理哪些Pod
    matchLabels:   # Label匹配规则
      app: controller-pod
    matchExpressions:  # Expressions匹配项
      - {key: app, operator: In, values: [controller-pod]}
  template:   # 模板,当副本数量不足时,会根据下面的模板创建pod副本
    metadata:
      labels:
        app: controller-pod
    spec:
      restartPolicy: Never  # 重启策略只能设置为Never或者OnFailure
      containers:
      - name: counter
      - image: nginx:1.17.1

二、Job控制器实例

2.1 Job控制器实例演示

编辑pc_job.yaml文件,内容如下

apiVersion: v1
kind: Namespace
metadata:
  name: dev

---

apiVersion: batch/v1
kind: Job
metadata:
  name: pc-job
  namespace: dev
spec:
  manualSelector: true
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never
      containers:
      - name: counter
        image: busybox:1.30
        command: ["/bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1;  do echo $i;sleep 3;done"]

然后开启另外两个窗口分别使用如下命令监视job和pod的状态变化

# 监视job的窗口
 kubectl get job -n dev -o wide -w
# 监视pod的窗口
 kubectl get pod -n dev -o wide -w

然后使用如下命令创建资源

[root@master pod_controller]# kubectl apply -f pc_job.yaml
namespace/dev created
job.batch/pc-job created
[root@master pod_controller]#

然后可以看到job的变化如下:

[root@master ~]# kubectl get job -n dev -o wide -w
NAME     COMPLETIONS   DURATION   AGE   CONTAINERS   IMAGES         SELECTOR
pc-job   0/1                      0s    counter      busybox:1.30   app=counter-pod
pc-job   0/1           0s         0s    counter      busybox:1.30   app=counter-pod
pc-job   1/1           28s        28s   counter      busybox:1.30   app=counter-pod

而pod的变化如下:

[root@master ~]# kubectl get pod -n dev -o wide -w
NAME           READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATES
pc-job-hn5gj   0/1     Pending   0          0s    <none>   <none>   <none>           <none>
pc-job-hn5gj   0/1     Pending   0          0s    <none>   node2    <none>           <none>
pc-job-hn5gj   0/1     ContainerCreating   0          0s    <none>   node2    <none>           <none>
pc-job-hn5gj   1/1     Running             0          1s    10.244.2.105   node2    <none>           <none>
pc-job-hn5gj   0/1     Completed           0          28s   10.244.2.105   node2    <none>           <none>

2.2 设置总数和并行参数的Job控制器实例

编辑pc_job.yaml文件,内容如下,需要创建6个pod,允许并行执行3个

apiVersion: v1
kind: Namespace
metadata:
  name: dev

---

apiVersion: batch/v1
kind: Job
metadata:
  name: pc-job
  namespace: dev
spec:
  manualSelector: true
  completions: 6
  parallelism: 3
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never
      containers:
      - name: counter
        image: busybox:1.30
        command: ["/bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1;  do echo $i;sleep 3;done"]

然后开启另外两个窗口分别使用如下命令监视job和pod的状态变化

# 监视job的窗口
 kubectl get job -n dev -o wide -w
# 监视pod的窗口
 kubectl get pod -n dev -o wide -w

然后使用如下命令创建资源

[root@master pod_controller]# kubectl apply -f pc_job.yaml
namespace/dev created
job.batch/pc-job created
[root@master pod_controller]#

job的变化过程如下:

[root@master ~]# kubectl get job -n dev -o wide -w
NAME     COMPLETIONS   DURATION   AGE   CONTAINERS   IMAGES         SELECTOR
pc-job   0/6                      0s    counter      busybox:1.30   app=counter-pod
pc-job   0/6           0s         0s    counter      busybox:1.30   app=counter-pod
pc-job   1/6           28s        28s   counter      busybox:1.30   app=counter-pod
pc-job   2/6           28s        28s   counter      busybox:1.30   app=counter-pod
pc-job   3/6           29s        29s   counter      busybox:1.30   app=counter-pod
pc-job   4/6           57s        57s   counter      busybox:1.30   app=counter-pod
pc-job   5/6           57s        57s   counter      busybox:1.30   app=counter-pod
pc-job   6/6           57s        57s   counter      busybox:1.30   app=counter-pod

pod的变化过程如下:

[root@master ~]# kubectl get pod -n dev -o wide -w
NAME           READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATES
pc-job-m7q4d   0/1     Pending   0          0s    <none>   <none>   <none>           <none>
pc-job-jwtsg   0/1     Pending   0          0s    <none>   <none>   <none>           <none>
pc-job-7hg9g   0/1     Pending   0          0s    <none>   <none>   <none>           <none>
pc-job-m7q4d   0/1     Pending   0          0s    <none>   node2    <none>           <none>
pc-job-jwtsg   0/1     Pending   0          0s    <none>   node1    <none>           <none>
pc-job-7hg9g   0/1     Pending   0          0s    <none>   node1    <none>           <none>
pc-job-m7q4d   0/1     ContainerCreating   0          0s    <none>   node2    <none>           <none>
pc-job-jwtsg   0/1     ContainerCreating   0          0s    <none>   node1    <none>           <none>
pc-job-7hg9g   0/1     ContainerCreating   0          0s    <none>   node1    <none>           <none>
pc-job-jwtsg   1/1     Running             0          1s    10.244.1.89   node1    <none>           <none>
pc-job-7hg9g   1/1     Running             0          1s    10.244.1.88   node1    <none>           <none>
pc-job-m7q4d   1/1     Running             0          2s    10.244.2.106   node2    <none>           <none>
pc-job-7hg9g   0/1     Completed           0          28s   10.244.1.88    node1    <none>           <none>
pc-job-vdsgl   0/1     Pending             0          0s    <none>         <none>   <none>           <none>
pc-job-jwtsg   0/1     Completed           0          28s   10.244.1.89    node1    <none>           <none>
pc-job-vdsgl   0/1     Pending             0          0s    <none>         node1    <none>           <none>
pc-job-vtln5   0/1     Pending             0          0s    <none>         <none>   <none>           <none>
pc-job-vdsgl   0/1     ContainerCreating   0          0s    <none>         node1    <none>           <none>
pc-job-vtln5   0/1     Pending             0          0s    <none>         node1    <none>           <none>
pc-job-vtln5   0/1     ContainerCreating   0          1s    <none>         node1    <none>           <none>
pc-job-m7q4d   0/1     Completed           0          29s   10.244.2.106   node2    <none>           <none>
pc-job-d77m9   0/1     Pending             0          0s    <none>         <none>   <none>           <none>
pc-job-d77m9   0/1     Pending             0          0s    <none>         node2    <none>           <none>
pc-job-d77m9   0/1     ContainerCreating   0          0s    <none>         node2    <none>           <none>
pc-job-vtln5   1/1     Running             0          1s    10.244.1.90    node1    <none>           <none>
pc-job-vdsgl   1/1     Running             0          2s    10.244.1.91    node1    <none>           <none>
pc-job-d77m9   1/1     Running             0          1s    10.244.2.107   node2    <none>           <none>
pc-job-vtln5   0/1     Completed           0          29s   10.244.1.90    node1    <none>           <none>
pc-job-vdsgl   0/1     Completed           0          29s   10.244.1.91    node1    <none>           <none>
pc-job-d77m9   0/1     Completed           0          28s   10.244.2.107   node2    <none>           <none>

可以看出,确实可以实现创建6个任务,同时并发3个执行,总体执行时间大概两个周期即58秒左右即可完成

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
相关文章
|
7月前
|
Kubernetes Cloud Native 应用服务中间件
云原生|kubernetes|ResourceQuota 资源与准入控制器
云原生|kubernetes|ResourceQuota 资源与准入控制器
116 0
|
19天前
|
Kubernetes 监控 调度
【赵渝强老师】K8s的DaemonSet控制器
DaemonSet控制器确保每个节点上运行一个Pod副本,适用于监控、日志收集等场景。通过示例创建DaemonSet并查看Pod信息,展示了其自动扩展和回收的能力。视频讲解和代码示例详细说明了DaemonSet的使用方法和调度机制。
|
19天前
|
Kubernetes 调度 容器
【赵渝强老师】K8s中Job控制器单工作队列的串行方式
Kubernetes中的Job控制器用于管理一次性任务,确保任务完成后不再重启。本文介绍了Job的工作原理、运行方式及示例,包括创建Job、查看Job和Pod信息等步骤,并附有视频讲解。
|
19天前
|
Kubernetes 双11 容器
【赵渝强老师】Kubernetes中的控制器
Kubernetes通过控制器管理Pod的生命周期,以应对不同场景需求,如Deployment、DaemonSet、Job等。控制器可自动调整Pod数量和重启故障Pod,确保系统稳定运行。视频讲解和详细内容见下文。
|
19天前
|
Kubernetes 应用服务中间件 nginx
【赵渝强老师】K8s中的Deployment控制器
Kubernetes中的Deployment用于部署无状态应用程序,管理Pod的数量、更新方式和资源限制。通过创建和管理ReplicaSet,Deployment可以实现Pod的自动扩缩容、滚动更新和回滚。本文介绍了Deployment的基本概念,并通过一个具体的示例演示了如何使用Deployment创建、更新和管理Pod。
|
19天前
|
存储 Kubernetes 调度
【赵渝强老师】K8s中Deployment控制器与StatefulSet控制器的区别
K8s中的Deployment控制器用于管理无状态应用程序,关注Pod数量、更新方式等;而StatefulSets控制器则管理有状态应用程序,提供持久存储和唯一标识符,适用于需要稳定网络标识符和持久化存储的场景。两者的主要区别在于是否维护状态和顺序。
|
19天前
|
存储 Kubernetes 调度
【赵渝强老师】K8s的有状态控制器StatefulSet
在Kubernetes中,StatefulSets用于部署有状态应用程序,提供持久存储和唯一标识符。与Deployment不同,StatefulSets确保Pod的标识符在重新调度后保持不变,适用于需要稳定网络标识符和持久存储的场景。本文介绍了StatefulSets的创建、扩容与缩容、更新与回滚等操作,并提供了具体示例和视频讲解。
|
19天前
|
Kubernetes Linux 调度
【赵渝强老师】K8s的周期性任务控制器CronJob
本文介绍了K8s中的CronJob控制器,它类似于Linux的crontab命令,用于管理和调度定时作业。CronJob可以设置在未来某一时间运行作业一次或在指定时间点重复运行作业。文章通过一个示例展示了如何创建和使用CronJob控制器,包括创建配置文件、应用配置、查看Pod信息和日志等步骤。同时,还解释了CronJob的时间表示方式及其限制。
|
19天前
|
Kubernetes 调度 容器
【赵渝强老师】K8s的Job控制器多工作队列的并行方式
Kubernetes Job 是一次性任务控制器,用于控制 Pod 中的容器执行特定任务。本文介绍了 Job 控制器的工作原理、运行方式及多工作队列并行执行的示例。示例中创建了 5 个作业,以 3 个队列并行执行,整个过程需 2 分钟。文中还提供了详细的 YAML 文件配置和执行命令。
|
7月前
|
运维 Kubernetes 监控
Kubernetes详解(十九)——Kubernetes Pod控制器
Kubernetes详解(十九)——Kubernetes Pod控制器
102 3