【kubernetes】关于k8s集群的污点、容忍、驱逐以及k8s集群故障排查思路

#设置污点
kubectl taint node node01 key1=value1:NoSchedule
 
#节点说明中，查找 Taints 字段
kubectl describe node node-name  
 
#去除污点
kubectl taint node node01 key1:NoSchedule-
 
 
kubectl taint node node01 键名=键值:NoSchedule
#增加污点
 
kubectl taint node node01 键名=键值:NoSchedule-
kubectl taint node node01 键名-
#删除
 
kubectl describe nodes node01|grep -A5 -i taint
#查看

kubectl taint node node01 jiangsu=nanjing:NoSchedule
                               键=值

kubectl describe node node01|grep -i taints

kubectl taint node node01 jiangsu:NoSchedule-

kubectl taint node node01 check=no:NoExecute

[root@master01 ~]#cd /opt
[root@master01 opt]#mkdir Taint
[root@master01 opt]#cd Taint/
[root@master01 Taint]#kubectl taint node node02 nanjing=222:NoSchedule
node/node02 tainted
[root@master01 Taint]#kubectl describe nodes node02|grep -i taint
Taints:             nanjing=222:NoSchedule
[root@master01 Taint]#
 
#设置污点效果为NoSchedule，表示不能容忍此污点的新的pod将不会在node02上建立
#已经运行的则不会有影响

[root@master01 Taint]#vim demo1.yaml
[root@master01 Taint]#cat demo1.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: demo1-myapp
  labels:
    app: demo1-myapp
spec:
  replicas: 3
  selector:
    matchLabels:
      app: demo1-myapp
  template:
    metadata:
      labels:
        app: demo1-myapp
    spec:
      containers:
      - name: myapp-affinity
        image: soscscs/myapp:v1
        ports:
        - containerPort: 80

[root@master01 Taint]#vim demo2.yaml
apiVersion: v1
kind: Pod
metadata:
  name: myapp01
  labels:
    app: myapp01
spec:
  containers:
  - name: with-node-affinity
    image: soscscs/myapp:v1
  tolerations:    #定义Pod可以容忍的节点污点
  - key: "check"     #污点的键。Pod可以容忍具有这个键的污点
    operator: "Equal"  #定义如何与污点的值进行比较。Equal表示Pod仅容忍具有指定值的污点
    value: "nihao"  
    effect: "NoExecute"   #污点的效应
    tolerationSeconds: 60  #当Pod所在的节点被添加了匹配的污点后，Pod可以继续在该节点上运行的时间（秒）
 
 
 
 
 
#其中的 key、vaule、effect 都要与 Node 上设置的 taint 保持一致
#operator 的值为 Exists 将会忽略 value 值，即存在即可
#tolerationSeconds 用于描述当 Pod 需要被驱逐时可以在 Node 上继续保留运行的时间
 
 
#operator：表示如何与污点的值进行比较，此参数有Equal与Exists两个选项
#Equal
'Pod将仅容忍节点上键（key）和值（value）与toleration中指定的键和值相匹配的污点。
例如node01节点上的pla=a，当toleration定义键和值为pla与a它会容忍，pla=b则不会容忍
如果value字段在容忍中未指定，则Equal操作符默认会使用空字符串作为值进行比较。'
 
#Exists
'当operator设置为Exists时，Pod将容忍所有具有指定键（key）的污点，而不管它们的值（value）
是什么。这允许Pod容忍同一类别（即具有相同键）的所有污点，而不必指定特定的值。
例如当有pla这个键的所有节点都设置污点时，不需要指定值，所有含有pla键的节点，都会被容忍'
 
---
tolerationSeconds：允许pod存在时间
'表示当Pod所在的节点被添加了匹配的污点后，Pod还可以继续在该节点上运行的时间（秒）
例如上述文件中设置为40，表示该pod在有污点的节点上创建后，如果污点没有被删除，它只会
在节点上存在60秒，60秒后，将会被删除

apiVersion: v1
kind: Pod
metadata:
  name: myapp01
  labels:
    app: myapp01
spec:
  containers:
  - name: with-node-affinity
    image: soscscs/myapp:v1
  tolerations:
  - key: "check"
    operator: "Equal"
    value: "a"
    effect: "NoExecute"
    tolerationSeconds: 60

kubectl taint node node02 check=a:NoExecute
 
kubectl apply -f demo2.yaml
 
kubectl get pods -owide -w

  tolerations:
  - operator: "Exists"

  tolerations:
  - key: "key"
    operator: "Exists"

kubectl taint node Master-Name node-role.kubernetes.io/master=:PreferNoSchedule

//如果某个 Node 更新升级系统组件，为了防止业务长时间中断，可以先在该 Node 设置 NoExecute 污点，把该 Node 上的 Pod 都驱逐出去
kubectl taint node node01 check=mycheck:NoExecute
 
//此时如果别的 Node 资源不够用，可临时给 Master 设置 PreferNoSchedule 污点，让 Pod 可在 Master 上临时创建
kubectl taint node master node-role.kubernetes.io/master=:PreferNoSchedule
 
//待所有 Node 的更新操作都完成后，再去除污点
kubectl taint node node01 check=mycheck:NoExecute-

kubectl taint node Master-Name node-role.kubernetes.io/master=:PreferNoSchedule

kubectl taint node node-name key=value:NoExecute
#设置污点
-------------------------------------------------------------------------------
kubectl taint node node-name key:NoExecute-
#去除污点

##对节点执行维护操作：
kubectl get nodes

//将 Node 标记为不可调度的状态，这样就不会让新创建的 Pod 在此 Node 上运行
kubectl cordon <NODE_NAME>     #该node将会变为SchedulingDisabled状态
 
//kubectl drain 可以让 Node 节点开始释放所有 pod，并且不接收新的 pod 进程。drain 本意排水，意思是将出问题的 Node 下的 Pod 转移到其它 Node 下运行
kubectl drain <NODE_NAME> --ignore-daemonsets --delete-local-data --force
 
--ignore-daemonsets：无视 DaemonSet 管理下的 Pod。
--delete-local-data：如果有 mount local volume 的 pod，会强制杀掉该 pod。
--force：强制释放不是控制器管理的 Pod，例如 kube-proxy。
 
注：执行 drain 命令，会自动做了两件事情:
（1）设定此 node 为不可调度状态（cordon)
（2）evict（驱逐）了 Pod
 
//kubectl uncordon 将 Node 标记为可调度的状态
kubectl uncordon <NODE_NAME>

[root@master01 data]#kubectl uncordon node01
node/node01 uncordoned
[root@master01 data]#kubectl describe nodes node01|grep -i taints
Taints:             <none>

kubectl drain node01：基本驱逐命令，会驱逐节点上的所有 Pods（除了 DaemonSets 管理的 Pods）。
 
kubectl drain node01 --ignore-daemonsets=true：忽略 DaemonSets 管理的 Pods，驱逐其他所有 Pods。
 
kubectl drain node01 --force --ignore-daemonsets --delete-local-data：强制驱逐所有 Pods（包括 DaemonSets），并删除 Pods 的本地数据。注意，使用 --force 选项可能会导致数据丢失，请确保在使用前备份重要数据。

kubectl drain node02 --ignore-daemonsets --delete-emptydir-data --force

[root@master01 Taint]#kubectl uncordon node02
node/node02 uncordoned
[root@master01 Taint]#kubectl describe node  node02 |grep -i taint
Taints:             <none>

//查看Pod事件
kubectl describe TYPE NAME_PREFIX  
 
//查看Pod日志（Failed状态下）
kubectl logs <POD_NAME> [-c Container_NAME]
 
//进入Pod（状态为running，但是服务没有提供）
kubectl exec –it <POD_NAME> bash
 
//查看集群信息
kubectl get nodes
 
//发现集群状态正常
kubectl cluster-info
 
//查看kubelet日志发现
journalctl -xefu kubelet

kubectl get nodes                               查看node节点运行状态
kubectl describe nodes <node节点名称>           查看node节点的详细信息和资源描述
kubectl get cs                                  查看master组件的健康状态
kubectl cluster-info                            查看集群信息
 
journalctl -u -f kubelet                        跟踪查看kubelet进程日志

kubectl get pods -o wide                          查看Pod的运行状态和就绪状态
kubectl describe <pods|其它资源类型> <资源名称>   查看资源的详细信息和事件描述，主要是针对处于Pending状态的故障
kubectl logs <Pod资源名称> -c <容器名称> -f -p    查看Pod容器的主进程日志，主要是针对进入Running状态后的故障，比如Failed异常问题
kubectl exec -it <Pod资源名称> -c <容器名称> sh|bash   进入Pod容器查看容器内部相关的状态信息，比如进程、端口、文件、流量等状态信息
kubectl debug -it <Pod资源名称> --image=<临时工具容器的镜像名> --target=<目标容器>    在Pod中创建临时工具容器进入目标容器进行调试，主要针对没有调试工具的容器使用
nsenter -n --target <容器ID>                   在Pod容器宿主机使用nsenter转换网络namespace，直接在宿主机进入目标容器的网络命名空间进行抓包等调试工作

kubectl get svc                                查看service资源的clusterIP、port、nodePort等信息
kubectl describe svc <svc资源名称>             查看service资源的标签选择器、endpoints端点等信息
kubectl get pods --show-lables                 查看Pod的标签