ACK集群容器启动命令不生效

在ACK集群中，如果遇到容器启动命令不生效的问题，可能与多种因素相关，例如Kubernetes配置、Docker运行时环境或节点状态等。以下是针对该问题的详细分析和解决方法：

1. 检查GPU节点容器启动问题

如果您的ACK集群使用了GPU节点，并且发现容器无法正常启动，可能是由于Cgroup Driver类型不匹配导致的。
解决步骤： - 停止kubelet和Docker服务：

sudo service kubelet stop
sudo service docker stop

• 启动Docker和kubelet服务：

  sudo service docker start
  sudo service kubelet start
  

• 检查Docker的Cgroup Driver类型：

  sudo docker info | grep -i cgroup
  

  如果输出为Cgroup Driver: cgroupfs，需要将其修改为systemd以匹配Kubernetes的要求。

• 更新/etc/docker/daemon.json文件：

  sudo cat >/etc/docker/daemon.json <<-EOF
  {
  "default-runtime": "nvidia",
  "runtimes": {
    "nvidia": {
      "path": "/usr/bin/nvidia-container-runtime",
      "runtimeArgs": []
    }
  },
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m",
    "max-file": "10"
  },
  "oom-score-adjust": -1000,
  "storage-driver": "overlay2",
  "storage-opts": ["overlay2.override_kernel_check=true"],
  "live-restore": true
  }
  EOF
  

• 重启Docker服务以应用更改：

  sudo service docker restart
  

2. 排查Pod启动失败的原因

如果容器启动命令不生效，可能是Pod本身存在问题。以下是一些常见的排查步骤：

(1) 检查Pod的状态

使用以下命令查看Pod的状态和事件信息：

kubectl describe pod <pod-name>

重点关注Events部分，查看是否有错误信息。

(2) 检查资源配置

如果Pod中声明的资源限制（resources.limits）小于实际所需资源，可能导致容器启动失败。建议启用资源画像功能，获取推荐的资源配置。

(3) 检查端口冲突

如果Pod日志中出现Address already in use错误，可能是端口冲突导致的。解决方法如下： 1. 检查Pod是否启用了hostNetwork: true，如果是，请改为hostNetwork: false。 2. 配置Pod的反亲和性，确保同一副本集中的Pod被调度到不同节点。 3. 确保没有两个或多个具有相同端口需求的Pod运行在同一节点上。

3. 检查节点状态

如果节点状态异常，也可能导致容器启动命令不生效。以下是常见的节点问题及解决方法：

(1) 节点关机或不可用

• 如果某个节点关机，该节点上的所有Pod将无法运行。建议使用Deployment、StatefulSet或DaemonSet等工作负载创建Pod，而不是直接创建Pod，以确保Pod可以调度到其他正常节点。

(2) kubelet组件故障

• 如果kubelet组件故障，可能导致Pod无法在该节点上创建。建议检查kubelet日志，定位具体问题：

  journalctl -u kubelet -f
  

• 如果问题无法解决，可以联系阿里云技术支持。

4. 检查Docker Daemon状态

如果Docker Daemon未正常运行，也会导致容器启动失败。
解决方法： - 在Linux系统中，重启Docker服务：

sudo service docker restart

• 在Windows系统中，切换Docker守护进程：

  cd C:\Program Files\Docker\Docker
  DockerCli.exe -SwitchDaemon
  

5. 检查网络插件配置

如果Pod启动后存在网络延迟或无法通信的问题，可能是Network Policy配置导致的。
解决方法： - 检查是否启用了Network Policy，尝试关闭Network Policy以排除问题。 - 如果Pod无法访问自己暴露的服务，检查Flannel版本是否支持回环访问。对于低于v0.15.1.4-e02c8f12-aliyun的版本，需要手动开启回环访问。

6. 重要提醒

• 请勿手动修改SLB配置：如果您在SLB控制台上手动修改了Kubernetes创建并维护的SLB配置，可能会导致配置丢失，造成Service不可访问。建议通过注解的方式配置SLB。
• 定期备份数据：为了避免因API Server后端数据丢失导致的问题，建议周期性地为kubelet软件所使用的数据卷创建快照。

通过以上步骤，您可以逐步排查并解决ACK集群中容器启动命令不生效的问题。如果问题仍未解决，建议联系阿里云技术支持团队以获取进一步帮助。