简介
官网:http://kubernetes.p2hp.com/docs/concepts/scheduling-eviction/assign-pod-node.html
你可以约束一个 Pod 以便限制其只能在特定的节点上运行,或优先在特定的节点上运行。有几种方法可以实现这点,推荐的方法都是用标签选择算符来进行选择。通常这样的约束不是必须的,因为调度器将自动进行合理的放置(比如,将 Pod 分散到节点上,而不是将 Pod 放置在可用资源不足的节点上等等)。但在某些情况下,你可能需要进一步控制 Pod 被部署到哪个节点。例如,确保 Pod 最终落在连接了 SSD 的机器上,或者将来自两个不同的服务且有大量通信的 Pods 被放置在同一个可用区。
你可以使用下列方法中的任何一种来选择 Kubernetes 对特定 Pod 的调度:
- 与节点标签匹配的 nodeSelector【推荐】
- 亲和性与反亲和性【推荐】
- Pod 拓扑分布约束【推荐】
- nodeName 字段【不推荐】
节点添加标签
列出集群中的节点及其标签
kubectl get nodes --show-labels
指定节点添加标签
kubectl label nodes <节点名称> <键>=<值>
标签指派
如果匹配不到对应标签的节点,那么 Pod 会一直处于 Pending 状态,无法调度!
apiVersion: v1 kind: Pod metadata: name: nginx labels: env: nginx spec: nodeSelector: disktype: ssd # 选择节点为标签 disktype 为 ssd 的节点 containers: - name: nginx image: nginx:1.19 imagePullPolicy: IfNotPresent
节点名称指派
如果找不到对应名称的节点,那么 Pod 会一直处于 Pending 状态,无法调度!
apiVersion: v1 kind: Pod metadata: name: nginx spec: nodeName: worker1 # 调度 Pod 到特定的节点 containers: - name: nginx image: nginx:1.19 imagePullPolicy: IfNotPresent
节点亲和性和反亲和性指派
官网:http://kubernetes.p2hp.com/docs/concepts/scheduling-eviction/assign-pod-node.html
nodeSelector 提供了一种最简单的方法来将 Pod 约束到具有特定标签的节点上。亲和性和反亲和性扩展了你可以定义的约束类型。使用亲和性与反亲和性的一些好处有:
- 亲和性、反亲和性语言的表达能力更强。nodeSelector 只能选择拥有所有指定标签的节点。亲和性、反亲和性为你提供对选择逻辑的更强控制能力。
- 你可以标明某规则是软需求或者偏好,这样调度器在无法找到匹配节点时仍然调度该 Pod。
- 你可以使用节点上(或其他拓扑域中)运行的其他 Pod 的标签来实施调度约束,而不是只能使用节点本身的标签。这个能力让你能够定义规则允许哪些 Pod 可以被放置在一起。
亲和性功能由两种类型的亲和性组成:
- 节点亲和性:功能类似于 nodeSelector 字段,但它的表达能力更强,并且允许你指定软规则。
- Pod 间亲和性/反亲和性:允许你根据其他 Pod 的标签来约束 Pod。
节点亲和性概念上类似于 nodeSelector,它使你可以根据节点上的标签来约束 Pod 可以调度到哪些节点上。节点亲和性有两种,两种可以同时使用:
requiredDuringSchedulingIgnoredDuringExecution
:调度器只有在规则被满足的时候才能执行调度。此功能类似于 nodeSelector,但其语法表达能力更强。preferredDuringSchedulingIgnoredDuringExecution
:调度器会尝试寻找满足对应规则的节点。如果找不到匹配的节点,调度器仍然会调度该 Pod。
注意:在上述类型中,IgnoredDuringExecution
意味着如果节点标签在 Kubernetes 调度 Pod 后发生了变更,Pod 仍将继续运行。
requiredDuringSchedulingIgnoredDuringExecution
apiVersion: v1 kind: Pod metadata: name: with-node-affinity spec: affinity: nodeAffinity: # 节点必须包含一个键名为 ssd 的标签, 并且该标签的取值必须为 fast 或 superfast。 requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: disktype operator: In values: - ssd containers: - name: nginx image: nginx:1.19
注意: 你可以使用
In
、NotIn
、Exists
、DoesNotExist
、Gt
和Lt
之一作为操作符。NotIn
和DoesNotExist
可用来实现节点反亲和性行为。
requiredDuringSchedulingIgnoredDuringExecution
是比较强硬的规则,若找不到符合条件的节点,那么 Pod 会一直处于 Pending 状态!
preferredDuringSchedulingIgnoredDuringExecution
apiVersion: v1 kind: Pod metadata: name: with-node-affinity spec: affinity: nodeAffinity: # 节点最好具有一个键名为 app 且取值为 fast 的标签。 preferredDuringSchedulingIgnoredDuringExecution: - weight: 1 preference: matchExpressions: - key: ssd operator: In values: - fast - weight: 50 preference: matchExpressions: - key: app operator: In values: - demo containers: - name: nginx image: nginx:1.19
你可以为 preferredDuringSchedulingIgnoredDuringExecution
亲和性类型的每个实例设置 weight
字段,其取值范围是 1 到 100。最后调度时,如果找不到符合条件的节点,那么 K8s 会默认找到一个合适的节点进行调度。
preferredDuringSchedulingIgnoredDuringExecution 运行配置多种权重的策略,数值越大,越优先。
Pod 间亲和性和反亲和性及权重
与节点亲和性类似,Pod 的亲和性与反亲和性也有两种类型:
requiredDuringSchedulingIgnoredDuringExecution
preferredDuringSchedulingIgnoredDuringExecution
例如,你可以使用 requiredDuringSchedulingIgnoredDuringExecution
亲和性来告诉调度器,将两个服务的 Pod 放到同一个云提供商可用区内,因为它们彼此之间通信非常频繁。类似地,你可以使用 preferredDuringSchedulingIgnoredDuringExecution
反亲和性来将同一服务的多个 Pod 分布到多个云提供商可用区中。
要使用 Pod 间亲和性,可以使用 Pod 规约中的 spec.affinity.podAffinity
字段。对于 Pod 间反亲和性,可以使用 Pod 规约中的 spec.affinity.podAntiAffinity
字段。
requiredDuringSchedulingIgnoredDuringExecution
apiVersion: v1 kind: Pod metadata: name: redis labels: app: redis spec: containers: - name: redis image: redis:5.0.10 imagePullPolicy: IfNotPresent restartPolicy: Always affinity: podAffinity: requiredDuringSchedulingIgnoredDuringExecution: - topologyKey: beijing labelSelector: matchExpressions: - key: app operator: In values: - nginx
更确切的说,调度器必须将 Pod 调度到具有 cpu 标签的节点上,并且集群中至少有一个位于该可用区的节点上运行着带有 app=nginx 标签的 Pod。
preferredDuringSchedulingIgnoredDuringExecution
apiVersion: v1 kind: Pod metadata: name: redis labels: app: redis spec: containers: - name: redis image: redis:5.0.10 imagePullPolicy: IfNotPresent restartPolicy: Always affinity: podAffinity: preferredDuringSchedulingIgnoredDuringExecution: - podAffinityTerm: topologyKey: beijing labelSelector: matchExpressions: - key: app operator: In values: - nginx weight: 1 - podAffinityTerm: topologyKey: beijing labelSelector: matchExpressions: - key: app operator: In values: - web weight: 30
污点和容忍度
官网:http://kubernetes.p2hp.com/docs/concepts/scheduling-eviction/taint-and-toleration.html
Pod 拓扑分布约束
官网:http://kubernetes.p2hp.com/docs/concepts/scheduling-eviction/topology-spread-constraints/