牧原_个人页

2023年08月

• 08.10 09:58:31
  发表了文章 2023-08-10 09:58:31

  k8s场景测试之ingresss中geoip的使用

  Geo是geographic的缩写，意思是地理的，GeoIP即为IP地理位置数据库，可以根据IP获得地理位置信息。GeoLite2是GeoIP2的免费版本，与GeoIP2数据库相比准确性较差。 GeoIP库可以根据IP地址(支持IPv4 和 IPv6), 定位该IP所在的 洲、经纬度、国家、省市、ASN 等信息。

2023年06月

• 06.07 17:15:44
  发表了文章 2023-06-07 17:15:44

  k8s异常诊断之no space left on device.

  某用户反馈，特定节点一直拉不起来pod，提示no space left on device.，手动去docker run也是相同的报错 # docker run --name aestools-perf --cap-add CAP_SYS_ADMIN --privileged -ti --rm registry-vpc.cn-beijing.aliyuncs.com/my-nettools/aestools:onlyperf docker: Error response from daemon: error creating overlay mount to /var/li

2022年11月

• 11.23 17:08:15
  发表了文章 2022-11-23 17:08:15

  K8S网络诊断之要命的5S抖动

  某用户反馈8月4号凌晨00：30分左右，生产业务平均RT从100ms飙升到1000ms且抖动较大，如图1-1所示，（绿线为8月3号同时间段的RT，蓝线为异常后的RT）

  
• 11.18 14:34:19
  发表了文章 2022-11-18 14:34:19

  k8s场景测试之使用ingress反代oss

  需要使用ingress反向代理某个域名的场景，本场景仅供测试参考，生产环境使用请自行评估

  
• 11.15 11:06:09
  发表了文章 2022-11-15 11:06:09

  k8s小工具之kubectl-mytop插件

  Kubectl-mytop是一个基于metrics-server组件做指标展示的命令行工具，综合kubectl top以及kubectl describe的展示能力，可以提供Kubernetes集群中node以及pod资源请求、资源限制、资源利用率、以及pod数量做排序展示。Kubectl-mytop插件的目的在于弥补当前常用k8s监控工具的不足，便于如资源不均，调度不均，使用率不均等问题的分析定位。如指定node后，可以查看这个node上所有的pod的request，limit，util资源使用等信息并排序输出，支持指定不同namespace的相同的pod label的资源展示，以及过滤指定

  
• 11.09 16:52:21
  发表了文章 2022-11-09 16:52:21

  k8s诊断之如何在ingress里面使用geoip2

  某用户由于某些原因，需要在ACK上使用geoip2来限制国家级别的ip访问限制，如只允许中国访问，ingress 已经默认集成了geoip，但是geoip已经很久不维护了，信息不准确，因此促使了本篇文档的产生

  
• 11.09 16:48:23
  发表了文章 2022-11-09 16:48:23

  k8s诊断之ingress 异常状态码及证书问题排查思路

  ingress的状态码以及证书问题的分析

  
• 11.09 16:36:13
  发表了文章 2022-11-09 16:36:13

  k8s诊断之记一次业务pod被异常删除的分析

  某用户反馈，头一天晚上21:05左右，某几个deployment的pod被重建了一遍，客户的pod有特殊限制，基本可以保证1个节点上就只有这一个pod独占，客户怀疑后端异常导致

  
• 11.03 11:47:42
  发表了文章 2022-11-03 11:47:42

  k8s网络诊断之记一次ingress websocket长链接被断开的问题排查

  某用户反馈通过ingress建立的websocket长链接，总是会被断开，影响他们的研发平台的使用，导致业务上线受阻

  

2022年10月

• 10.20 15:04:14
  发表了文章 2022-10-20 15:04:14

  netstat st的相关解析

  写在前面，查netstat -st的相关信息时，意外获悉nstat这个命令，好使的狠，大家可以试试， 常用的查看丢包的命令 netstat -st | egrep -i "drop|reject|overflowed|listen|filter|reset" --------------------------快乐的分割线------------------ 当执行以下命令查看netstat统计信息来源时，发现一个重要的来源是/proc/net/snmp接口的输出信息 分享给大家
• 10.03 17:54:58
  发表了文章 2022-10-03 17:54:58

  k8s诊断之记一次pod被修改的resolv.conf之bcctools opensnoop

  某用户反馈，pod生产出来之后，/etc/resolv.conf配置不对，缺少search相关条目，导致生产环境内部服务调用时无法解析出现异常

  
• 10.03 17:43:01
  发表了文章 2022-10-03 17:43:01

  k8s诊断之记一次pod oom的异常shmem输出

  客户反馈java设置xms，xmx参数固定8G内存，而pod的limit则为16G， 三番五次出现了pod oom的情况，且oom的时候他的业务进程输出也是8g， 同时promethus的监控对应pod的working_set_memory也是8个多g， 剩下的几个g的内存到底去哪里了呢？

  
• 10.03 17:07:24
  发表了文章 2022-10-03 17:07:24

  iostat之背锅侠util

  即使在空载的情况下也会偶尔出现明明没什么IO但是看到的%util已经接近100%了，而传统意义上大多数同学会拿util的值来判断这个磁盘是否已经达到了性能瓶颈，这种情况真的是磁盘达到瓶颈了吗？

  
• 10.03 16:59:25
  发表了文章 2022-10-03 16:59:25

  恼人的Linux内存统计

  前几天遇到一个客户反馈的内存问题，大致背景是自建的数据库业务，购买的是阿里云裸金属服务器总是遇到内存不足的情况，每次重启过不了多久就会不断报内存页分配失败，而且无论怎么扩容内存业务改善都不大

  

2022年09月

• 09.23 16:37:07
  发表了文章 2022-09-23 16:37:07

  K8S网络诊断之我的ingress咋不显示ip了

  某客户反馈，新建的ingress不显示ingress关联slb的公网ip了，与客户沟通后确认创建了两套ingress-controller后出现的问题，创建ingress后的显示效果如下：

  
• 09.19 18:05:33
  发表了文章 2022-09-19 18:05:33

  使用Systemtap跟踪系统调用 （一）

  SystemTap是一个诊断Linux系统性能或功能问题的开源软件。它使得对运行时的Linux系统进行诊断调式变得更容易、更简单。有了它，开发者或调试人员不再需要重编译、安装新内核、重启动等烦人的步骤。

  
• 09.19 15:22:36
  发表了文章 2022-09-19 15:22:36

  k8s网络诊断之被丢弃的SYN--linux数据包的接收过程（k8s+flannel+ ipvs）

  某客户反馈，ECS上自建nginx server 通过proxy_pass 反向代理 云上k8s集群 nodeport类型的svc，存在大量1s的延迟请求的问题，在nginx所在的ecs上，使用netstat可以看到syn_sent状态的connection，如下图所示，但是在pod所在的worker节点上是看不到syn_RECV状态的connection（nodeport上也无）

  

2020年12月

• 12.29 11:28:16
  发表了文章 2020-12-29 11:28:16

  k8s网络诊断之我的流量去哪了

  某客户反馈，生产业务的应用在做滚动更新时大量502报错，同时生产业务中pod设置了prestop来优雅下线（延迟关闭），但是在滚动更新时依然会有502的问题，由于生产环境流量比较高，决定搭建测试环境模拟复现该问题，实际复现过程中发现，pod切换完成后，客户端访问svc关联的SLB，应用会超时一段时间或者qps下降为0

  

2020年10月

• 10.17 00:08:18
  发表了文章 2020-10-17 00:08:18

  k8s网络诊断之如何抓取容器内部的网络报文

  这个系列文章中我们以实际案例排查，来看一看在容器网络里面，抓包分析问题的技巧，在看这一章之前，建议先看声东同学的《集群网络详解》一文

  

2020年07月

• 07.03 16:00:20
  发表了文章 2020-07-03 16:00:20

  关于Linux cpu中断问题及案例

  Linux网络中断的设置与案例分享

  

2019年06月

• 06.22 11:25:47
  发表了文章 2019-06-22 11:25:47

  如何使用curl访问k8s的apiserver

  使用TOKEN授权访问api-server在k8s运维场景中比较常见， apiserver有三种级别的客户端认证方式 1，HTTPS证书认证：基于CA根证书签名的双向数字证书认证方式 2，HTTP Token认证：通过一个Token来识别合法用户 3，HTTP Base认证：通过用户名+密码的认证...