k8s--pod 调度、定向调度、亲和性调度、污点和容忍（二）-阿里云开发者社区

PodAffinity

PodAffinity 主要实现以运行的 Pod 为参照，实现让新创建的 Pod 跟参照 pod 在一个区域的功能。

首先来看一下 PodAffinity 的可配置项：

pod.spec.affinity.podAffinity
  requiredDuringSchedulingIgnoredDuringExecution  # 硬限制
    namespaces       # 指定参照 pod 的 namespace
    topologyKey      # 指定调度作用域
    labelSelector    # 标签选择器
      matchExpressions  # 按节点标签列出的节点选择器要求列表(推荐)
        key    # 键
        values # 值
        operator # 关系符 支持 In, NotIn, Exists, DoesNotExist.
      matchLabels     # 指多个 matchExpressions 映射的内容
  preferredDuringSchedulingIgnoredDuringExecution # 软限制
    podAffinityTerm   # 选项
      namespaces      
      topologyKey
      labelSelector
        matchExpressions  
          key     # 键
          values # 值
          operator
        matchLabels 
    weight # 倾向权重，在范围 1-100

topologyKey 用于指定调度时作用域

如果指定为 kubernetes.io/hostname，那就是以 Node 节点为区分范围
如果指定为 beta.kubernetes.io/os，则以 Node 节点的操作系统类型来区分

接下来，演示下 requiredDuringSchedulingIgnoredDuringExecution（硬限制）

首先创建一个参照 Pod，pod-podaffinity-target.yaml，内容如下

apiVersion: v1
kind: Pod
metadata:
  name: pod-podaffinity-target
  namespace: zouzou
  labels:
    podenv: pro # 给 pod 设置标签
spec:
  containers:
  - name: nginx
    image: nginx:1.14
  nodeName: dce-10-6-215-200 # 将目标 pod 明确指定到 dce-10-6-215-200 上

创建 pod

kubectl apply -f pod-podaffinity-target.yaml

接下来创建创建 pod-podaffinity-required.yaml，内容如下：

apiVersion: v1
kind: Pod
metadata:
  name: pod-podaffinity-required
  namespace: zouzou
spec:
  containers:
  - name: nginx
    image: nginx:1.14
  affinity:  # 亲和性设置
    podAffinity: # 设置pod亲和性
      requiredDuringSchedulingIgnoredDuringExecution: # 硬限制
      - labelSelector:
          matchExpressions: # 匹配env的值在["xxx","yyy"]中的标签
          - key: podenv # 对应的是 pod 的标签，不是 node 的，上面创建参照 pod 的时候创建了一个 podenv=pro 的标签
            operator: In
            values: ["xxx","yyy"] # 不存在 podenv=xxx 或者 podenv=yyy
        topologyKey: kubernetes.io/hostname # 以 node 节点为区分范围

上面配置表达的意思是：新 Pod 必须要与拥有标签 podenv=xxx 或者 podenv=yyy 的 pod 在同一 Node 上，显然现在没有这样 pod，接下来，运行测试一下

# 创建 pod
kubectl create -f pod-podaffinity-required.yaml

查看 pod 和 pod event

# 查看 pod，发现 pod 未运行，也没有分配到节点上
[root@dce-10-6-215-215 tmp]# kubectl get pods pod-podaffinity-required -n zouzou -o wide
NAME                       READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATES
pod-podaffinity-required   0/1     Pending   0          30s   <none>   <none>   <none>           <none>
# 查看 event，底下提示有三个节点，一个节点有污点（master），两个节点（node）不满足标签规则
[root@dce-10-6-215-215 tmp]#
[root@dce-10-6-215-215 tmp]# kubectl describe pod pod-nodeaffinity-preferred -n zouzou
Name:         pod-nodeaffinity-preferred
Namespace:    zouzou
Priority:     0
Node:         dce-10-6-215-200/10.6.215.200
Start Time:   Sat, 16 Apr 2022 11:45:15 +0800
......
Events:
  Type     Reason            Age   From               Message
  ----     ------            ----  ----               -------
  Warning  FailedScheduling  51s   default-scheduler  0/3 nodes are available: 1 node(s) had taint {node-role.kubernetes.io/master: }, that the pod didn't tolerate, 2 node(s) didn't match pod affinity rules, 2 node(s) didn't match pod affinity/anti-affinity.

接下来修改 values: ["xxx","yyy"]----->values:["pro","yyy"]

意思是：新 Pod 必须要与拥有标签 podenv=xxx 或者 podenv=yyy 的 pod 在同一 Node 上

修改完之后重新创建 pod

# 创建 pod
kubectl create -f pod-podaffinity-required.yaml

查看 pod，是正常运行的

# 查看 pod，pod 是正常运行的
[root@dce-10-6-215-215 tmp]# kubectl get pods pod-podaffinity-required -n zouzou -o wide
NAME                       READY   STATUS    RESTARTS   AGE   IP              NODE               NOMINATED NODE   READINESS GATES
pod-podaffinity-required   1/1     Running   0          36s   172.29.34.240   dce-10-6-215-200   <none>           <none>
# 查看 event，正常
[root@dce-10-6-215-215 tmp]# kubectl describe pods pod-podaffinity-required -n zouzou
Name:         pod-podaffinity-required
Namespace:    zouzou
Priority:     0
Node:         dce-10-6-215-200/10.6.215.200
Start Time:   Sat, 16 Apr 2022 12:19:04 +0800
......
Events:
  Type    Reason     Age   From               Message
  ----    ------     ----  ----               -------
  Normal  Scheduled  41s   default-scheduler  Successfully assigned zouzou/pod-podaffinity-required to dce-10-6-215-200
  Normal  Pulled     39s   kubelet            Container image "nginx:1.14" already present on machine
  Normal  Created    38s   kubelet            Created container nginx
  Normal  Started    38s   kubelet            Started container nginx

可以看到，我们的参考 pod 在 dce-10-6-215-200节点上，配置了 pod 亲和性之后，也在 dce-10-6-215-200 节点上

关于 PodAffinity 的 preferredDuringSchedulingIgnoredDuringExecution，这里不再演示。

PodAntiAffinity

PodAntiAffinity 主要实现以运行的 Pod 为参照，让新创建的 Pod 跟参照 pod 不在一个区域中的功能。

它的配置方式和选项跟 PodAffinty 是一样的，这里不再做详细解释，直接做一个测试案例。

继续使用上个案例中目标 pod，pod-podaffinity-target.yaml

创建 pod-podantiaffinity-required.yaml，内容如下：

apiVersion: v1
kind: Pod
metadata:
  name: pod-podantiaffinity-required
  namespace: zouzou
spec:
  containers:
  - name: nginx
    image: nginx:1.14
  affinity:  # 亲和性设置
    podAntiAffinity: #设置 pod 反亲和性
      requiredDuringSchedulingIgnoredDuringExecution: # 硬限制
      - labelSelector:
          matchExpressions: # 匹配env的值在["xxx","yyy"]中的标签
          - key: podenv # 对应的是 pod 的标签，不是 node 的，上面创建参照 pod 的时候创建了一个 podenv=pro 的标签
            operator: In
            values: ["pro"] # 反亲和性，不在和 pod 的标签 podenv=pro 的节点上
        topologyKey: kubernetes.io/hostname #

创建 pod

kubectl create -f pod-podantiaffinity-required.yaml

可以看到，因为我们设置了反亲和性，创建的 pod 就没有和 podenv=pro 标签的 pod 在一台 node 机器上

污点和容忍

污点（Taints）

前面的调度方式都是站在 pod 的角度上，通过在 pod 上添加属性，来确定 pod 是否要调度到指定的 node 上，其实我们也可以站在 node 的角度上，通过在 node 上添加污点属性，来决定是否允许 pod 调度过来

node 被设置上污点之后就和 pod 之间存在了一种互斥的关系，进而拒绝 pod 调度进来，甚至可以将已经存在的 pod 驱逐出去

污点的格式为：key=value:effect，key 和 value 是污点的标签，effect 描述污点的作用，支持如下三个选项

PreferNoSchedule：kubernetes 将尽量避免把 Pod 调度到具有该污点的 Node上，除非没有其他节点可调度
NoSchedule：kubernetes 将不会把 Pod 调度到具有该污点的 Node 上，但不会影响当前 Node 上已存在的 Pod
NoExecute：kubernetes 将不会把 Pod 调度到具有该污点的 Node 上，同时也会将 Node 上已存在的 Pod 驱离

使用 kubectl 设置和去除污点的命令示例如下：

# 设置污点
kubectl taint nodes node1 key=value:effect
# 去除污点
kubectl taint nodes node1 key:effect-
# 去除所有污点
kubectl taint nodes node1 key-

接下来，演示下污点的效果

准备一个节点，为了演示效果更加明显，只需要一个 master 和一个 worker 即可
为 node 节点设置一个污点：tag=hihi:PreferNoSchedule，然后创建 pod1
修改 node 节点的污点：tag=hihi:NoSchedule，然后创建 pod2
修改 node 节点的污点：tag=NoExecute，然后创建 pod3

# 为 node 设置污点(PreferNoSchedule)
kubectl taint node dce-10-6-215-190 tag=hihi:PreferNoSchedule

查看节点 dce-10-6-215-190 的污点，使用下面命令

# 查看 dce-10-6-215-190 节点的污点
kubectl describe node dce-10-6-215-190

创建 pod

# 创建 pod，名称叫 demo1
[root@dce-10-6-215-215 tmp]# kubectl run demo1 --image=nginx:1.14 -n zouzou
[root@dce-10-6-215-215 tmp# kubectl get pods -n zouzou -o wide
NAME                      READY   STATUS    RESTARTS   AGE     IP           NODE   
demo1-7665f7fd85-574h4   1/1     Running   0          2m24s   10.244.1.59   dce-10-6-215-190

从结果可以看到，我们创建的 pod 运行在了 dce-10-6-215-190 的节点上，虽然 dce-10-6-215-190 我们添加了污点，但污点是 tag=hihi:PreferNoSchedule，也就是尽量避免不添加到有污点的节点上，但只有这一个 worker 节点，所以也就调度到了 dce-10-6-215-190 的节点上

删除污点，创建一个新污点，不能修改

# 删除污点 tag:PreferNoSchedule-
kubectl taint node dce-10-6-215-190 tag:PreferNoSchedule-

删除后，在去查看已经没有了

# 查看污点
kubectl describe node dce-10-6-215-190

设置 NoSchedule 污点

# 给 dce-10-6-215-190 节点设置污点 tag=hihi:NoSchedule
 kubectl taint node dce-10-6-215-190 tag=hihi:NoSchedule

查看污点

在来创建一个新 pod 查看是否可以成功创建

# 创建 pod，名称为 demo2
[root@dce-10-6-215-215 tmp]# kubectl run demo2 --image=nginx:1.14 -n zouzou
[root@dce-10-6-215-215 tmp]# kubectl get pods -n zouzou -o wide
NAME                      READY   STATUS    RESTARTS   AGE     IP            NODE
demo1-7665f7fd85-574h4   1/1     Running   0          2m24s   10.244.1.59   dce-10-6-215-190
demo2-544694789-6zmlf    0/1     Pending   0          21s     <none>        <none>

从上面可以看出，我们新创建的 pod demo2 没有创建成功，但 demo1 还是正常运行的，因为我们创建的污点是 tag=hihi:NoSchedule（kubernetes 将不会把 Pod 调度到具有该污点的 Node 上，但不会影响当前 Node 上已存在的 Pod）

删除污点，创建一个新污点，不能修改

# 删除污点
kubectl taint node dce-10-6-215-190 tag:NoSchedule-

删除后，在去查看已经没有了

# 查看污点
kubectl describe node dce-10-6-215-190

设置 NoExecute 污点

# 给 dce-10-6-215-190 节点设置污点 tag=hihi:NoExecute
kubectl taint node dce-10-6-215-190 tag=hihi:NoExecute

查看污点，污点已经设置成功了

在来创建一个新 pod 查看是否可以成功创建

# 创建 pod，名称叫 demo3
[root@dce-10-6-215-215 tmp]# kubectl run demo3 --image=nginx:1.14 -n zouzou
[root@dce-10-6-215-215 tmp]# kubectl get pods -n zouzou -o wide
NAME                      READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED 
demo1-7665f7fd85-htkmp   0/1     Pending   0          35s   <none>   <none>   <none>    
demo2-544694789-bn7wb    0/1     Pending   0          35s   <none>   <none>   <none>     
demo3-6d78dbd749-tktkq   0/1     Pending   0          6s    <none>   <none>   <none>

从上面结果可以看出，pod demo3 没有创建成功，而之前成功的 pod demo1 也被移除了，这是因为我们设置的污点是 tag=hihi:NoExecute（不会把 Pod 调度到具有该污点的 Node 上，同时也会将 Node 上已存在的 Pod 驱离）

使用 kubeadm 搭建的集群，默认就会给 master 节点添加一个污点标记,所以 pod 就不会调度到 master 节点上

容忍（Toleration）

上面介绍了污点的作用，我们可以在 node 上添加污点用于拒绝 pod 调度上来，但是如果就是想将一个 pod 调度到一个有污点的 node 上去，这时候应该怎么做呢？这就要使用到容忍

污点就是拒绝，容忍就是忽略，Node 通过污点拒绝 pod 调度上去，Pod 通过容忍忽略拒绝

下面先通过一个案例看下效果：

上面，已经在 dce-10-6-215-190 节点上打上了 NoExecute 的污点，此时 pod 是调度不上去的
可以通过给 pod 添加容忍，然后将其调度上去

创建 pod-toleration.yaml 内容如下，先创建个不添加容忍的，创建 pod 查看效果，在创建个添加了容忍的，创建 pod，查看效果

apiVersion: v1
kind: Pod
metadata:
  name: pod-toleration
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
  tolerations:      # 添加容忍，下面的意思就是：tag=hihi:NoExecute
  - key: "tag"        # 要容忍的污点的key
    operator: "Equal" # 操作符，Equal 为等于
    value: "hihi"    # 容忍的污点的value
    effect: "NoExecute"   # 添加容忍的规则，这里必须和标记的污点规则相同

# 添加容忍之前的pod
[root@dce-10-6-215-215 tmp]# kubectl get pods -n zouzou -o wide
NAME             READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED 
pod-toleration   0/1     Pending   0          3s    <none>   <none>   <none>           
# 添加容忍之后的pod
[root@dce-10-6-215-215 tmp]# kubectl get pods -n zouzou -o wide
NAME             READY   STATUS    RESTARTS   AGE   IP            NODE    NOMINATED
pod-toleration   1/1     Running   0          3s    10.244.1.62   dce-10-6-215-190   <none>

可以看到，添加了容忍之后，节点有 node，也可以创建成功

下面看一下容忍的详细配置

[root@dce-10-6-215-215 tmp]# kubectl explain pod.spec.tolerations
......
FIELDS:
   key       # 对应着要容忍的污点的键，空意味着匹配所有的键
   value     # 对应着要容忍的污点的值
   operator  # key-value 的运算符，支持 Equal 和 Exists（默认），Exists 是存在的意思，只判断 key，不需要写 value，只要 key 存在就行
   effect    # 对应污点的effect，空意味着匹配所有影响
   tolerationSeconds   # 容忍时间, 当 effect 为 NoExecute 时生效，表示之前在你 node 节点上的 pod 的停留时间，超过了这个时间，node 就会将 pod 移除

删除多个污点

上面我们 dce-10-6-215-190 已经有一个污点了，接下来在添加一个污点

上面节点上已经有两个污点了，可以使用下面命令删除相同 key 的污点

# 删除相同 key 的污点，这里删除 key=tag 的污点
kubectl taint nodes dce-10-6-215-190 tag-

k8s--pod 调度、定向调度、亲和性调度、污点和容忍（二）

PodAffinity

PodAntiAffinity

污点和容忍

污点（Taints）

容忍（Toleration）

删除多个污点

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像

k8s--pod 调度、定向调度、亲和性调度、污点和容忍 （二）

PodAffinity

PodAntiAffinity

污点和容忍

污点（Taints）

容忍（Toleration）

删除多个污点

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像

k8s--pod 调度、定向调度、亲和性调度、污点和容忍（二）