开发者社区> 胡伟煌> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

kubernetes集群问题排查

简介: 本文CSDN博客地址:http://blog.csdn.net/huwh_/article/details/71308301 1. 查看系统Event事件 [plain] view plain copy kubectl describe pod  --namespace=   该命令可以显示Pod创建时的配置定义、状态等信息和最近的Event事件,事件信息可用于排错。
+关注继续查看

版权声明:本文为博主原创文章,未经博主允许不得转载。如需转载请联系本人,并标明出处和作者。

本文CSDN博客地址:http://blog.csdn.net/huwh_/article/details/71308301


1. 查看系统Event事件

[plain] view plain copy
  1. kubectl describe pod <PodName> --namespace=<NAMESPACE>  

该命令可以显示Pod创建时的配置定义、状态等信息和最近的Event事件,事件信息可用于排错。例如当Pod状态为Pending,可通过查看Event事件确认原因,一般原因有几种:

  • 没有可用的Node可调度
  • 开启了资源配额管理并且当前Pod的目标节点上恰好没有可用的资源
  • 正在下载镜像(镜像拉取耗时太久)

kubectl describe还可以查看其它k8s对象:NODE,RC,Service,Namespace,Secrets。

1.1. Pod

kubectl describe pod <PodName> --namespace=<NAMESPACE>

1.2. NODE

kubectl describe NODE

[plain] view plain copy
  1. Name:           runtime2.foshan2.wae.haplat.net  
  2. Labels:         kubernetes.io/hostname=runtime2.foshan2.wae.haplat.net,namespace/test=true  
  3. CreationTimestamp:  Fri, 01 Apr 2016 17:34:16 +0800  
  4. Phase:  
  5. Conditions:  
  6.   Type      Status  LastHeartbeatTime           LastTransitionTime          Reason              Message  
  7.   ────      ──────  ─────────────────           ──────────────────          ──────              ───────  
  8.   Ready     True    Sat, 08 Apr 2017 14:15:41 +0800     Sun, 26 Mar 2017 08:58:04 +0800     KubeletReady            kubelet is posting ready status  
  9.   OutOfDisk     False   Sat, 08 Apr 2017 14:15:41 +0800     Fri, 01 Apr 2016 17:34:16 +0800     KubeletHasSufficientDisk    kubelet hassufficient disk space available  
  10. Addresses:  221.5.100.100,221.5.100.100  
  11. Capacity:  
  12.  memory:    134975102976  
  13.  pods:      40  
  14.  cpu:       32  
  15. System Info:  
  16.  Machine ID:            120de474f77e4d75a670a74eea6d1e45  
  17.  System UUID:           1C929431-8D94-11E1-BD1D-001E6744D094  
  18.  Boot ID:           2a154beb-86e4-40e3-acce-4f83b1ea5ed2  
  19.  Kernel Version:        3.10.0-229.20.1.el7.x86_64  
  20.  OS Image:          CentOS Linux 7 (Core)  
  21.  Container Runtime Version: docker://1.8.2-el7.centos  
  22.  Kubelet Version:       v1.1.1-wae2-12  
  23.  Kube-Proxy Version:        v1.1.1-wae2-12  
  24. ExternalID:         runtime2.foshan2.wae.haplat.net  
  25. Non-terminated Pods:        (6 in total)  
  26.   Namespace         Name                    CPU Requests    CPU Limits  Memory Requests     Memory Limits  
  27.   ─────────         ────                    ────────────    ──────────  ───────────────     ─────────────  
  28.   acp               acp-ui-1-4-0-16j3a          4 (12%)     4 (12%)     8589934592 (6%)     8589934592 (6%)  
  29.   acp               acp-ui-1-4-1-kou20          4 (12%)     4 (12%)     8589934592 (6%)     8589934592 (6%)  
  30.   acp               acp-ui-api-1-4-0-u3w4f          4 (12%)     4 (12%)     8589934592 (6%)     8589934592 (6%)  
  31.   cloud-eye         cloud-eye-dim2-1-6-6-1-9g16i        4 (12%)     4 (12%)     34359738368 (25%)   34359738368 (25%)  
  32.   cloud-wst         cloud-wst-ceba-1-12-0-1-hjdk2       2 (6%)      2 (6%)      8589934592 (6%)     8589934592 (6%)  
  33.   cms-fd            cms-fd-schedule-3-9-1-3-wzqa1       8 (25%)     8 (25%)     21474836480 (15%)   21474836480 (15%)  
  34. Allocated resources:  
  35.   (Total limits may be over 100%, i.e., overcommitted. More info: http://releases.k8s.io/HEAD/docs/user-guide/compute-resources.md)  
  36.   CPU Requests  CPU Limits  Memory Requests     Memory Limits  
  37.   ────────────  ──────────  ───────────────     ─────────────  
  38.   26 (81%)  26 (81%)    90194313216 (66%)   90194313216 (66%)  
  39. No events.  

1.3. RC

kubectl describe rc --namespace=rmp

 
[plain] view plain copy
  1. [root@node5 ~]# kubectl describe rc --namespace=rmp  
  2. Name:       rmp-web-2-15-3-1  
  3. Namespace:  rmp  
  4. Image(s):   registry.wae.haplat.net/rmp/rmp-web:2.15.3-1  
  5. Selector:   app=rmp-web,appVersion=2.15.3-1  
  6. Labels:     app=rmp-web,appVersion=2.15.3-1,env=product,zone=foshan2  
  7. Replicas:   1 current / 1 desired  
  8. Pods Status:    1 Running / 0 Waiting / 0 Succeeded / 0 Failed  
  9. No volumes.  
  10. No events.  

1.4. NAMESPACE

kubectl describe NAMESPACE

[plain] view plain copy
  1. [root@node5 ~]# kubectl describe NAMESPACE  
  2. Name:   acp  
  3. Labels: <none>  
  4. Status: Active  
  5. Resource Quotas  
  6.  Resource       Used        Hard  
  7.  ---            ---     ---  
  8.  cpu            24      20  
  9.  memory         51539607552 53687091200  
  10.  persistentvolumeclaims 0       10  
  11.  pods           6       10  
  12.  replicationcontrollers 6       10  
  13.  resourcequotas     1       1  
  14.  secrets        2       10  
  15.  services       6       10  
  16. No resource limits.  

1.5. Service

kubectl describe Service --namespace=rmp

 
[plain] view plain copy
  1. [root@node5 ~]# kubectl describe Service --namespace=rmp  
  2. Name:           rmp-web-2-15-3-1  
  3. Namespace:      rmp  
  4. Labels:         app=rmp-web,appVersion=2.15.3-1,waeEnv=product,waeZone=foshan2  
  5. Selector:       app=rmp-web,appVersion=2.15.3-1  
  6. Type:           ClusterIP  
  7. IP:         10.254.201.163  
  8. Port:           port-l7-tcp-80  80/TCP  
  9. Endpoints:      10.0.68.240:80  
  10. Session Affinity:   None  
  11. No events.  

2. 查看容器日志

1、查看指定pod的日志

kubectl logs <pod_name>

kubectl logs -f <pod_name> #类似tail -f的方式查看

2、查看上一个pod的日志

kubectl logs -p <pod_name>

3、查看指定pod中指定容器的日志

kubectl logs <pod_name> -c <container_name>

[root@node5 ~]# kubectl logs --help
Print the logs for a container in a pod. If the pod has only one container, the container name is optional.
Usage:
  kubectl logs [-f] [-p] POD [-c CONTAINER] [flags]
Aliases:
  logs, log
 
Examples:
# Return snapshot logs from pod nginx with only one container
$ kubectl logs nginx
# Return snapshot of previous terminated ruby container logs from pod web-1
$ kubectl logs -p -c ruby web-1
# Begin streaming the logs of the ruby container in pod web-1
$ kubectl logs -f -c ruby web-1
# Display only the most recent 20 lines of output in pod nginx
$ kubectl logs --tail=20 nginx
# Show all logs from pod nginx written in the last hour
$ kubectl logs --since=1h nginx

3. 查看k8s服务日志

3.1. journalctl

Linux系统上systemd系统来管理kubernetes服务,并且journal系统会接管服务程序的输出日志,可以通过systemctl status <xxx>或journalctl -u <xxx> -f来查看kubernetes服务的日志。

其中kubernetes组件包括:

kube-apiserver    
kube-controller-manager Pod扩容相关或RC相关  
kube-scheduler Pod扩容相关或RC相关  
kubelet Pod生命周期相关:创建、停止等  
etcd    

3.2. 日志文件

也可以通过指定日志存放目录来保存和查看日志

  • --logtostderr=false:不输出到stderr
  • --log-dir=/var/log/kubernetes:日志的存放目录
  • --alsologtostderr=false:设置为true表示日志输出到文件也输出到stderr
  • --v=0:glog的日志级别
  • --vmodule=gfs*=2,test*=4:glog基于模块的详细日志级别

4. 常见问题

4.1. Pod状态一直为Pending

kubectl describe <pod_name> --namespace=<NAMESPACE>

查看该POD的事件。

  • 正在下载镜像但拉取不下来(镜像拉取耗时太久)[一般都是该原因]
  • 没有可用的Node可调度
  • 开启了资源配额管理并且当前Pod的目标节点上恰好没有可用的资源

解决方法:

  1. 查看该POD所在宿主机与镜像仓库之间的网络是否有问题,可以手动拉取镜像
  2. 删除POD实例,让POD调度到别的宿主机上

4.2. Pod创建后不断重启

kubectl get pods中Pod状态一会running,一会不是,且RESTARTS次数不断增加。

一般原因为容器启动命令不是阻塞式命令,导致容器运行后马上退出。

非阻塞式命令:

  • 本身CMD指定的命令就是非阻塞式命令
  • 将服务启动方式设置为后台运行

解决方法:

1、将命令改为阻塞式命令(前台运行),例如:zkServer.sh start-foreground

2、Java运行程序的启动脚本将 nohup xxx &的nobup和&去掉,例如:

nohup $JAVA_HOME/bin/java $JAVA_OPTS -cp $CLASSPATH com.cnc.open.processor.Main &

改为:

$JAVA_HOME/bin/java $JAVA_OPTS -cp $CLASSPATH com.cnc.open.processor.Main


文章参考:

《Kubernetes权威指南》

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
在 Kubernetes 集群上部署 VSCode
在 Kubernetes 集群上部署 Visual Studio Code 是一个轻量级但功能强大的源代码编辑器,可在您的桌面上运行,适用于 Windows、macOS 和 Linux。它内置了对 JavaScript、TypeScript 和 Node.js 的支持,并为其他语言(如 C++、C#、Java、Python、PHP、Go)和运行时(如 .NET 和 Unity)提供了丰富的扩展生态系统.
76 0
在kubernetes集群中部署open-falcon
公司最近监控系统从zabbix切换到open-falcon,需要将open-falcon部署到私有的kubernetes集群上。open-falcon团队最近没有更新维护,提交的PR没有反应,所以将部署方法记录到这里。
57 0
Kubernetes 集群包管理器 Helm3 部署
Kuberbetes 能够很好地组织和编排容器,但它缺少一个更高层次的应用打包工具,而 Helm 就是解决这个问题的。
239 0
Kubernetes 集群部署 Ingress Traefik v2.4
Traefik 是一个开源的可以使服务发布变得轻松有趣的边缘路由器。它负责接收你系统的请求,然后使用合适的组件来对这些请求进行处理。
329 0
Kubernetes集群的详细部署
一、集群机器 linux-node1:192.168.56.11 ---master 部署的服务: etcd kube-apiserver kube-controller-manager kube-scheduler docker linux-node2:192.
1205 0
在Kubernetes集群中部署Heapster
背景 公司的容器云平台需要新增应用的自动扩缩容的功能,以便能够更加智能化的对应用进行管理。 Kubernetes官方提供了HPA(Horizontal Pod Autoscaling)资源对象。要让我们部署的应用做到自动的水平的(水平指的是增减Pod副本数量)进行扩缩容,我们只需要在Kubernetes集群中创建HPA资源对象,然后让该资源对象关联某一需要进行自动扩缩容的应用即可。
1852 0
使用 C# 开发 Kubernetes 组件,获取集群资源信息
使用 C# 开发 Kubernetes 组件,获取集群资源信息
65 0
Kubernetes集群升级指南:从理论到实践
摘要:集群升级是Kubernetes集群生命周期中最为重要的一环,也是也是众多使用者最为谨慎对待的操作之一。为了更好地理解集群升级这件事情的内涵外延,我们首先会对集群升级的必要性和难点进行阐述。随后我们会对集群升级前必须要做的前置检查进行逐一讲解。接下来我们会对两种常见的升级方式进行展开介绍。最后我们对集群升级的三个步骤进行讲解,帮助读者从理论走入实践。   升级的必要性&a
324 0
+关注
胡伟煌
容器云相关生态技术研究(Docker,Kubernetes等),个人独立博客:www.huweihuang.com,个人CSDN技术博客地址:http://blog.csdn.net/huwh_
5
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载