Kubernetes 的 NameSpace 无法删除应该怎么办?

简介: Kubernetes 的 NameSpace 无法删除应该怎么办?

概述

有时候我们操作不规范,或者删除的先后顺序有问题,或者某项关键服务没有启动,导致 Kubernetes 经常会出现无法删除 NameSpace 的情况。这种情况下我们应该怎么办?

规范删除流程

其实,很多时候出现这种情况,主要是因为我们的删除操作不规范,典型的有下面几种情况:

  • 删除的先后顺序有问题,如:
  • 先删除了 Traefik 的关键组件,再尝试删除包含 Traefik Ingress 或 EdgeIngress 的 CRD
  • 某项关键服务没有启动,如:
  • 对于安装了 Prometheus Operator + custom adapter 的 Kubernetes 集群,在 Prometheus 的一些关键组件 scale down 的情况下,删除包含这些监控 CRD 或 HPA custom metric 的 NameSpace

综上,根源上,大部分情况下 NameSpace 无法删除,都是我们操作有错在先。

为了避免此类错误再犯,推荐搭建删除按照如下流程:

  1. 保证所有基础服务组件都是正常运行的状态(如前面提到的,ingress 组件,监控组件,servicemesh 组件。…)
  2. 检查要删除的 NameSpace 下的所有资源,特别是 CRD, 这里推荐使用 Krew - Kubernetes 的 CLI 插件管理器 安装 get-all 真正 地获取该 NameSpace 下的所有资源,如后面的代码块所示:
  3. 针对其中的一些 CRD 或特殊资源,最好先明确指定删除并确保可以成功删除掉
  4. 最后,再删除该 NameSpace

第 2 步的代码块:(有如此多的 CRD)

❯ kubectl get-all -n cert-manager
NAME                                                                              NAMESPACE     AGE
configmap/cert-manager-webhook                                                    cert-manager  277d
configmap/kube-root-ca.crt                                                        cert-manager  277d
endpoints/cert-manager                                                            cert-manager  277d
endpoints/cert-manager-webhook                                                    cert-manager  277d
endpoints/cert-manager-webhook-dnspod                                             cert-manager  277d
pod/cert-manager-6d6bb4f487-hkwpn                                                 cert-manager  85d
pod/cert-manager-6d6bb4f487-wgtd8                                                 cert-manager  85d
pod/cert-manager-cainjector-7d55bf8f78-5797c                                      cert-manager  277d
pod/cert-manager-webhook-577f77586f-txlcx                                         cert-manager  85d
pod/cert-manager-webhook-577f77586f-xh4st                                         cert-manager  85d
pod/cert-manager-webhook-dnspod-5d5566c7bc-5cj4s                                  cert-manager  211d
secret/cert-manager-cainjector-token-h8cqq                                        cert-manager  277d
secret/cert-manager-token-28knj                                                   cert-manager  277d
secret/cert-manager-webhook-ca                                                    cert-manager  277d
secret/cert-manager-webhook-dnspod-ca                                             cert-manager  277d
secret/cert-manager-webhook-dnspod-letsencrypt                                    cert-manager  277d
secret/cert-manager-webhook-dnspod-secret                                         cert-manager  277d
secret/cert-manager-webhook-dnspod-token-jsjrn                                    cert-manager  277d
secret/cert-manager-webhook-dnspod-webhook-tls                                    cert-manager  277d
secret/cert-manager-webhook-token-qxq44                                           cert-manager  277d
secret/default-token-mkpmt                                                        cert-manager  277d
secret/ewhisper-crt-secret                                                        cert-manager  277d
secret/sh.helm.release.v1.cert-manager-webhook-dnspod.v1                          cert-manager  277d
secret/sh.helm.release.v1.cert-manager.v1                                         cert-manager  277d
serviceaccount/cert-manager                                                       cert-manager  277d
serviceaccount/cert-manager-cainjector                                            cert-manager  277d
serviceaccount/cert-manager-webhook                                               cert-manager  277d
serviceaccount/cert-manager-webhook-dnspod                                        cert-manager  277d
serviceaccount/default                                                            cert-manager  277d
service/cert-manager                                                              cert-manager  277d
service/cert-manager-webhook                                                      cert-manager  277d
service/cert-manager-webhook-dnspod                                               cert-manager  277d
order.acme.cert-manager.io/ewhisper-crt-6v6s4-2449993249                          cert-manager  209d
order.acme.cert-manager.io/ewhisper-crt-89n7g-2449993249                          cert-manager  23d
order.acme.cert-manager.io/ewhisper-crt-8g496-2449993249                          cert-manager  277d
order.acme.cert-manager.io/ewhisper-crt-jj24l-2449993249                          cert-manager  83d
order.acme.cert-manager.io/ewhisper-crt-q8pvw-2449993249                          cert-manager  149d
deployment.apps/cert-manager                                                      cert-manager  277d
deployment.apps/cert-manager-cainjector                                           cert-manager  277d
deployment.apps/cert-manager-webhook                                              cert-manager  277d
deployment.apps/cert-manager-webhook-dnspod                                       cert-manager  277d
replicaset.apps/cert-manager-6d6bb4f487                                           cert-manager  277d
replicaset.apps/cert-manager-cainjector-7d55bf8f78                                cert-manager  277d
replicaset.apps/cert-manager-webhook-577f77586f                                   cert-manager  277d
replicaset.apps/cert-manager-webhook-dnspod-5d5566c7bc                            cert-manager  211d
replicaset.apps/cert-manager-webhook-dnspod-5d78f9bfcb                            cert-manager  217d
replicaset.apps/cert-manager-webhook-dnspod-7c5cd575fc                            cert-manager  277d
app.catalog.cattle.io/cert-manager                                                cert-manager  270d
app.catalog.cattle.io/cert-manager-webhook-dnspod                                 cert-manager  270d
certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-ca-l57hl           cert-manager  277d
certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls-7zwdh  cert-manager  277d
certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls-gs57f  cert-manager  34d
certificaterequest.cert-manager.io/ewhisper-crt-6v6s4                             cert-manager  209d
certificaterequest.cert-manager.io/ewhisper-crt-89n7g                             cert-manager  23d
certificaterequest.cert-manager.io/ewhisper-crt-8g496                             cert-manager  277d
certificaterequest.cert-manager.io/ewhisper-crt-jj24l                             cert-manager  83d
certificaterequest.cert-manager.io/ewhisper-crt-q8pvw                             cert-manager  149d
certificate.cert-manager.io/cert-manager-webhook-dnspod-ca                        cert-manager  277d
certificate.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls               cert-manager  277d
certificate.cert-manager.io/ewhisper-crt                                          cert-manager  277d
issuer.cert-manager.io/cert-manager-webhook-dnspod-ca                             cert-manager  277d
issuer.cert-manager.io/cert-manager-webhook-dnspod-selfsign                       cert-manager  277d
endpointslice.discovery.k8s.io/cert-manager-9lm6j                                 cert-manager  277d
endpointslice.discovery.k8s.io/cert-manager-webhook-dnspod-q7f8n                  cert-manager  277d
endpointslice.discovery.k8s.io/cert-manager-webhook-z6qdd                         cert-manager  277d
rolebinding.rbac.authorization.k8s.io/cert-manager-webhook:dynamic-serving        cert-manager  277d
role.rbac.authorization.k8s.io/cert-manager-webhook:dynamic-serving               cert-manager  277d
ingressroute.traefik.containo.us/alertmanager                                     cert-manager  244d
ingressroute.traefik.containo.us/grafana                                          cert-manager  255d
ingressroute.traefik.containo.us/grafana-rancher                                  cert-manager  238d
ingressroute.traefik.containo.us/prometheus                                       cert-manager  244d
ingressroute.traefik.containo.us/rsshub                                           cert-manager  268d
ingressroute.traefik.containo.us/ttrss                                            cert-manager  257d
tlsstore.traefik.containo.us/default                                              cert-manager  268d
BASH

试试强制删除

如果 NameSpace 已经处于 terminating 的状态,且久久无法删除,可以试试加上这 2 个参数强制删除:

  • --force
  • --grace-period=0
kubectl delete ns ${NAMESPACE} --force --grace-period=0
BASH

强制删除失败?再来试试这种办法

强制删除失败?再来试试这种办法:调用 Kubernetes API 删除

Hard Way 步骤

首先,获取要删除 NameSpace 的 JSON 文件:

NAMESPACE=cert-manager
kubectl get ns ${NAMESPACE} -o json > namespace.json
BASH

然后,编辑 namespace.json, 从 finalizers 字段中删除 kubernetes 的值并保存,示例如下:

{
    "apiVersion": "v1",
    "kind": "Namespace",
    "metadata": {
        ...: ...
    },
    "spec": {
        "finalizers": []
    },
    "status": {
        "phase": "Terminating"
    }
}
JSON

之后,可以通过 kubectl proxy 设置 APIServer 的临时 IP 和端口

kubectl proxy --port=6880 &
BASH

最后,进行 API 调用来强制删除:

curl -k -H "Content-Type: application/json" -X  PUT --data-binary @namespace.json http://127.0.0.1:6880/api/v1/namespaces/${NAMESPACE}/finalize
BASH

验证是否已经成功删除:

kubectl get ns ${NAMESPACE}
BASH

编排成脚本

📝Notes:

依赖组件:

  • kubectl
  • jq
  • curl

force-delete-ns.sh

#!/bin/bash
set -ex
PATH=$PATH:.
NAMESPACE=$1    # 读取命令行第一个参数
kill -9  $(ps -ef|grep proxy|grep -v grep |awk '{print $2}')
kubectl proxy --port=6880 &
kubectl get namespace ${NAMESPACE} -o json |jq '.spec = {"finalizers":[]}' > namespace.json
curl -k -H  "Content-Type: application/json"  -X  PUT --data-binary @namespace.json 127.0.0.1:6880/api/v1/namespaces/${NAMESPACE}/finalize
BASH

使用方式示例:

bash force-delete-ns.sh cert-manager
BASH

🎉🎉🎉

总结

经常会碰到 Kubernetes 的 NameSpace 无法删除的情况,这时候应该如何解决?这里提供了 3 种方案:

  1. 尽量不要出现上面这种情况 (😑额。… 废话)
  2. 加上 --force flag 强制删除
  3. 调用 namespace 的 finalize API 强制删除

但是,真到了需要强制删除的阶段,2/3 部是无法保证 100% 成功的。

所以第一步才是正道 …(呆,但是有用)

EOF

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
6月前
|
Kubernetes 容器 Perl
【kubernetes】解决:pvc 一直处于Terminating 无法删除的问题
【kubernetes】解决:pvc 一直处于Terminating 无法删除的问题
203 0
|
2月前
|
Kubernetes Ubuntu 应用服务中间件
在Ubuntu22.04 LTS上搭建Kubernetes集群
在Ubuntu22.04.4上安装Kubernetes v1.28.7,步骤超详细
311 1
在Ubuntu22.04 LTS上搭建Kubernetes集群
|
2月前
|
Kubernetes 安全 Docker
在 K8s 集群中创建 DERP 服务器
在 K8s 集群中创建 DERP 服务器
|
1月前
|
Prometheus 监控 Kubernetes
Kubernetes 集群监控与日志管理实践
【2月更文挑战第29天】 在微服务架构日益普及的当下,Kubernetes 已成为容器编排的事实标准。然而,随着集群规模的扩大和业务复杂度的提升,有效的监控和日志管理变得至关重要。本文将探讨构建高效 Kubernetes 集群监控系统的策略,以及实施日志聚合和分析的最佳实践。通过引入如 Prometheus 和 Fluentd 等开源工具,我们旨在为运维专家提供一套完整的解决方案,以保障系统的稳定性和可靠性。
|
17天前
|
数据库 存储 监控
什么是 SAP HANA 内存数据库 的 Delta Storage
什么是 SAP HANA 内存数据库 的 Delta Storage
16 0
什么是 SAP HANA 内存数据库 的 Delta Storage
|
6天前
|
Kubernetes 搜索推荐 Docker
使用 kubeadm 部署 Kubernetes 集群(二)k8s环境安装
使用 kubeadm 部署 Kubernetes 集群(二)k8s环境安装
41 17
|
19天前
|
消息中间件 Kubernetes Kafka
Terraform阿里云创建资源1分钟创建集群一键发布应用Terraform 创建 Kubernetes 集群
Terraform阿里云创建资源1分钟创建集群一键发布应用Terraform 创建 Kubernetes 集群
14 0
|
20天前
|
Kubernetes 安全 网络安全
搭建k8s集群kubeadm搭建Kubernetes二进制搭建Kubernetes集群
搭建k8s集群kubeadm搭建Kubernetes二进制搭建Kubernetes集群
102 0
|
27天前
|
Kubernetes Cloud Native Docker
【云原生】kubeadm快速搭建K8s集群Kubernetes1.19.0
Kubernetes 是一个开源平台,用于管理容器化工作负载和服务,提供声明式配置和自动化。源自 Google 的大规模运维经验,它拥有广泛的生态支持。本文档详细介绍了 Kubernetes 集群的搭建过程,包括服务器配置、Docker 和 Kubernetes 组件的安装,以及 Master 和 Node 的部署。此外,还提到了使用 Calico 作为 CNI 网络插件,并提供了集群功能的测试步骤。
213 0
|
30天前
|
Prometheus 监控 Kubernetes
Kubernetes 集群的监控与日志管理实践
【2月更文挑战第31天】 在微服务架构日益普及的今天,容器编排工具如Kubernetes已成为部署、管理和扩展容器化应用的关键平台。然而,随着集群规模的扩大和业务复杂性的增加,如何有效监控集群状态、及时响应系统异常,以及管理海量日志信息成为了运维人员面临的重要挑战。本文将深入探讨 Kubernetes 集群监控的最佳实践和日志管理的高效策略,旨在为运维团队提供一套系统的解决思路和操作指南。
26 0