问题描述
创建Azure Kubernetes Service服务后，需要升级AKS集群的 kubernetes version。在AKS页面的 Cluster configuration 页面中，选择新的版本 1.25.5，确认升级。等待50分钟左右，却等到了升级失败的消息：
Failed to save Kubernetes service 'xxxx-aks3'. Error: Drain of aks-agentpool-xxxxxxxx-vmss00000j did not complete: Too many req pod aks-helloworld-one-9df87f7df-zxnbq on node aks-agentpool-xxxxxxxx-vmss00000j: ingress-basic/aks-helloworld-one-9df87f7df-zxnbq blocked by pdb pdbforhelloworldone with unready pods []. See http://aka.ms/aks/debugdrainfailures
问题解答
查看错误消息，其中提到 “... blocked by pdb pdbforhelloworldone with unready pods ... ” ，所以需要检查AKS集群中PDB(Pod Disruption Budget：Pod中断预算 -- https://kubernetes.io/docs/tasks/run-application/configure-pdb/#create-the-pdb-object).
第一步：查看AKS集群中的事件，检查错误内容
使用指令：kubectl get event ， 得到错误信息 ：Eviction blocked by too many Requests ( usually a pdb)
第二步：查看AKS集群中PDB的配置信息
使用指令 kubectl get pdb -A , 查看到其中一个配置为 MIN AVAILABLE ： 100%, ALLOWED DISRUPTIONS: 0
MIN AVAILABLE 为 100%, 说明POD都需要处于活跃状态，不能中断。
ALLOWED DISRUPTIONS为0，也表明POD可以中断的数量为0，即全部的POD都不能中断。
所以，升级失败的根源就是PDB策略的阻挡，升级的时候POD需要中断替换，而PDB策略不允许有POD中断，所以无法完成升级。
解决方案：
方案一：修改PDB设置，根据情况改变MIN AVAILABLE和ALLOWED DISRUPITIONS的值。
方案二：（当不能修改PDB设置时），可以先把PDB保存到本地，然后删除它，在执行升级，当升级完成后，恢复PDB设置即可。
第一种方式很简单，修改POD YAML中的配置即可。而本文中主要使用的是第二种方式：
1）保存PDB配置到本地（如pdb.yaml)
使用命令：kubectl get pdb <the block pdb name> -o yaml --namespace <the pdb namespace>
然后把输出的内容复制到文件 pdb.yaml 中
2）删除阻挡升级操作的PDB设置
使用命令删除pdb：kubectl delete pdb <your pdb name> --namespace <right namespace>
3）执行升级操作
因为在门户上，先前的升级操作报错，锁定了页面上的升级操作（即无法继续在页面中执行升级), 并且ASK 控制层面(Control panel)的版本升级已经完成，只是Node的升级是失败的。所以可以通过az aks nodepool upgrade 指令，执行对NodePool的升级。
az aks nodepool upgrade -g <group name> --cluster-name <name> --name <node name> --kubernetes-version 1.25.5 --no-wait
升级过程中，节点由2个 变为 3个，然后节点的kubernetes Version也在改变中
升级完成后, 节点数恢复为2，kubernetes Version都变为新的 1.25.5
完成此步后，整个AKS集群的升级表示完成，下一步就是根据第一步保存的pdb.yaml，重新创建PDB
4）恢复原有的PDB设置
使用指令
kubectl apply -f pdb.yaml --namespace <the pdb namespace>
kubectl get pdb -A
参考资料
Specifying a Disruption Budget for your Application ： https://kubernetes.io/docs/tasks/run-application/configure-pdb/#create-the-pdb-object
排查“PodDrainFailure”错误代码 ： https://learn.microsoft.com/zh-cn/troubleshoot/azure/azure-kubernetes/error-code-poddrainfailure
