k8s诊断之记一次pod被修改的resolv.conf之bcctools opensnoop

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
简介: 某用户反馈,pod生产出来之后,/etc/resolv.conf配置不对,缺少search相关条目,导致生产环境内部服务调用时无法解析出现异常

背景信息:
某用户反馈,pod生产出来之后,/etc/resolv.conf配置不对,缺少search相关条目,导致生产环境内部服务调用时无法解析出现异常
异常pod如下图所示:
image.png

正常的pod如下图所示
image.png

缺少search的话,集群内部的域名无法添加集群内的后缀,因此一些内部服务的域名解析会出现问题

问题分析:
首先查看resolv.conf文件的属性,看看是否有人为修改的痕迹,观察change以及modify的属性,二者有时间误差
image.png

新起pod对比查看下,正常的pod二者的误差极低
image.png

文件从何而来?
pod里面的resolv.conf是kubelet生成的,对应在docker的resolvpath路径里面,如下所示
image.png

考虑文件监控,期间尝试了pod内部strace /etc/resolv.conf,pod内部安装bsstools,以及外部监控,然后容器id不同,路径无法提前获知,均不达预期

开启固定调度,节点安装bcctools,使用opensnoop来监控系统内所有文件的变化

/usr/share/bcc/tools/opensnoop -T >> openfile.log 2>&1

TIME(s)       PID    COMM               FD ERR PATH
0.000000000   2994307 AliYunDun          17   0 /var/run/docker/runtime-runc/moby/53b50799e5844b3064fc8a8204c1d4a851114111febded3eb212cf61f00e6dd3/state.json
0.000922000   336715 more                3   0 /usr/lib64/gconv/gconv-modules.cache
0.131681000   2994307 AliYunDun          17   0 /var/log/secure

用户现场的opensnoop监控到的resolv.conf变动,最后一次是kubelet的操作
image.png

确认kubelet修改后,查看kubelet启动参数,发现有自定义配置,自定义的configyaml覆盖了我们的默认配置导致,去除即可:
image.png

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
相关文章
|
14天前
|
存储 Kubernetes Docker
【赵渝强老师】Kubernetes中Pod的基础容器
Pod 是 Kubernetes 中的基本单位,代表集群上运行的一个进程。它由一个或多个容器组成,包括业务容器、基础容器、初始化容器和临时容器。基础容器负责维护 Pod 的网络空间,对用户透明。文中附有图片和视频讲解,详细介绍了 Pod 的组成结构及其在网络配置中的作用。
【赵渝强老师】Kubernetes中Pod的基础容器
|
14天前
|
运维 Kubernetes Shell
【赵渝强老师】K8s中Pod的临时容器
Pod 是 Kubernetes 中的基本调度单位,由一个或多个容器组成,包括业务容器、基础容器、初始化容器和临时容器。临时容器用于故障排查和性能诊断,不适用于构建应用程序。当 Pod 中的容器异常退出或容器镜像不包含调试工具时,临时容器非常有用。文中通过示例展示了如何使用 `kubectl debug` 命令创建临时容器进行调试。
|
14天前
|
Kubernetes 调度 容器
【赵渝强老师】K8s中Pod中的业务容器
Pod 是 Kubernetes 中的基本调度单元,由一个或多个容器组成。除了业务容器,Pod 还包括基础容器、初始化容器和临时容器。本文通过示例介绍如何创建包含业务容器的 Pod,并提供了一个视频讲解。示例中创建了一个名为 "busybox-container" 的业务容器,并使用 `kubectl create -f firstpod.yaml` 命令部署 Pod。
|
14天前
|
Kubernetes 容器 Perl
【赵渝强老师】K8s中Pod中的初始化容器
Kubernetes的Pod包含业务容器、基础容器、初始化容器和临时容器。初始化容器在业务容器前运行,用于执行必要的初始化任务。本文介绍了初始化容器的作用、配置方法及优势,并提供了一个示例。
|
14天前
|
存储 Kubernetes 调度
深入理解Kubernetes中的Pod与Container
深入理解Kubernetes中的Pod与Container
25 0
|
14天前
|
Kubernetes Java 调度
Kubernetes中的Pod垃圾回收策略是什么
Kubernetes中的Pod垃圾回收策略是什么
|
14天前
|
存储 Kubernetes 调度
深度解析Kubernetes中的Pod生命周期管理
深度解析Kubernetes中的Pod生命周期管理
|
8天前
|
Kubernetes 监控 Cloud Native
Kubernetes集群的高可用性与伸缩性实践
Kubernetes集群的高可用性与伸缩性实践
33 1
|
29天前
|
JSON Kubernetes 容灾
ACK One应用分发上线:高效管理多集群应用
ACK One应用分发上线,主要介绍了新能力的使用场景
|
30天前
|
Kubernetes 持续交付 开发工具
ACK One GitOps:ApplicationSet UI简化多集群GitOps应用管理
ACK One GitOps新发布了多集群应用控制台,支持管理Argo CD ApplicationSet,提升大规模应用和集群的多集群GitOps应用分发管理体验。
下一篇
无影云桌面