Linkerd 2.10—使用 Debug Sidecar,注入调试容器来捕获网络数据包

简介: Linkerd 2.10—使用 Debug Sidecar,注入调试容器来捕获网络数据包

调试服务网格(service mesh)可能很困难。当某些东西不起作用时, 是代理(proxy)有问题吗?与应用程序(application)?与客户端(client)?与底层网络?(underlying network)有时, 没有什么比查看原始网络数据更好的了。


如果您需要对进入(entering)和离开(leaving)应用程序的数据包进行 网络级可见性(network-level visibility), Linkerd 提供了带有一些有用工具的 debug sidecar。与 proxy sidecar injection 的工作方式类似, 您可以通过在 pod 创建时设置 config.linkerd.io/enable-debug-sidecar: "true" annotation 来向 pod 添加 debug sidecar。为方便起见,linkerd inject 命令提供了 一个 --enable-debug-sidecar 选项来为你做这个注解。


(请注意,Kubernetes pod 中的容器集不是可变的,因此简单地将此 annotation 添加到预先存在的 pod 中是行不通的。它必须在创建 pod 时存在。)

debug sidecar 镜像包含 tshark、 tcpdump、lsof 和 iproute2。安装后,它会开始使用 tshark 自动记录所有传入和传出的流量, 然后可以使用 kubectl logs 查看这些流量。或者,您可以使用 kubectl exec 访问容器并直接运行命令。


例如,如果您已经阅读了 Linkerd 入门指南 并安装了 emojivoto 应用程序,并希望调试 voting 服务的流量,您可以运行:


kubectl -n emojivoto get deploy/voting -o yaml \
  | linkerd inject --enable-debug-sidecar - \
  | kubectl apply -f -


将 debug sidecar 容器部署到 voting 服务中的所有 pod。(请注意,此部署中只有一个 Pod,它将被重新创建以执行此 操作 - 请参阅上面有关 Pod 可变性的说明。)

您可以通过列出带有 voting-svc 标签的 pod 中的所有容器来确认调试容器正在运行:


kubectl get pods -n emojivoto -l app=voting-svc \
  -o jsonpath='{.items[*].spec.containers[*].name}'


然后,您可以通过简单地运行来查看日志中的实时 tshark 输出:


kubectl -n emojivoto logs deploy/voting linkerd-debug -f


如果这还不够,您可以 exec 到容器并在网络上下文中运行您自己的命令。例如,如果您想检查请求的 HTTP headers,您可以运行如下代码:


kubectl -n emojivoto exec -it \
  $(kubectl -n emojivoto get pod -l app=voting-svc \
    -o jsonpath='{.items[0].metadata.name}') \
  -c linkerd-debug -- tshark -i any -f "tcp" -V -Y "http.request"


由代理编写的 debug sidecar 在故障排除中 有效的实际错误消息是 Connection Refused 错误,如下所示:


ERR! [<time>] proxy={server=in listen=0.0.0.0:4143 remote=some.svc:50416}
linkerd2_proxy::app::errors unexpected error: error trying to connect:
Connection refused (os error 111) (address: 127.0.0.1:8080)


在这种情况下,可以修改 tshark 命令以侦听错误中提到的特定端口之间的流量,如下所示:


kubectl -n emojivoto exec -it \
 $(kubectl -n emojivoto get pod -l app=voting-svc \
  -o jsonpath='{.items[0].metadata.name}') \
  -c linkerd-debug -- tshark -i any -f "tcp" -V \
  -Y "(tcp.srcport == 4143 and tcp.dstport == 50416) or tcp.port == 8080"


请注意,消息 Connection reset by peer 也有类似的错误。如果您在应用程序日志输出中没有看到相关的错误或消息,则此错误通常是良性的。在这种情况下,调试容器可能无法帮助解决错误消息。


ERR! [<time>] proxy={server=in listen=0.0.0.0:4143 remote=some.svc:35314}
linkerd2_proxy::app::errors unexpected error: connection error:
Connection reset by peer (os error 104)


当然,这些示例仅在您能够 exec 到 Kubernetes 集群中的任意容器时才有效。有关此方法的替代方法,请参阅 linkerd tap。


相关文章
|
人工智能 弹性计算 运维
ACK Edge与IDC:高效容器网络通信新突破
本文介绍如何基于ACK Edge以及高效的容器网络插件管理IDC进行容器化。
|
Docker 容器
Docker网关冲突导致容器启动网络异常解决方案
当执行`docker-compose up`命令时,服务器网络可能因Docker创建新网桥导致IP段冲突而中断。原因是Docker默认的docker0网卡(172.17.0.1/16)与宿主机网络地址段重叠,引发路由异常。解决方法为修改docker0地址段,通过配置`/etc/docker/daemon.json`调整为非冲突段(如192.168.200.1/24),并重启服务。同时,在`docker-compose.yml`中指定网络模式为`bridge`,最后通过检查docker0地址、网络接口列表及测试容器启动验证修复效果。
2150 39
|
存储 Linux 容器
【Container App】在容器中抓取网络包的方法
本文介绍在Azure Container App中安装tcpdump抓取网络包,并通过Storage Account上传抓包文件的方法。内容包括使用curl和nc测试外部接口连通性、长Ping端口、安装tcpdump、抓取网络包、以及通过crul命令上传文件至Azure Storage。适用于需要分析网络请求和排查网络问题的场景。
398 0
|
Kubernetes Cloud Native 区块链
Arista cEOS 4.30.10M - 针对云原生环境设计的容器化网络操作系统
Arista cEOS 4.30.10M - 针对云原生环境设计的容器化网络操作系统
576 0
|
存储 缓存 监控
Docker容器性能调优的关键技巧,涵盖CPU、内存、网络及磁盘I/O的优化策略,结合实战案例,旨在帮助读者有效提升Docker容器的性能与稳定性。
本文介绍了Docker容器性能调优的关键技巧,涵盖CPU、内存、网络及磁盘I/O的优化策略,结合实战案例,旨在帮助读者有效提升Docker容器的性能与稳定性。
1616 8
|
存储 Prometheus 监控
Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行
本文深入探讨了在Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行。
775 5
|
NoSQL 应用服务中间件 Redis
Docker跨宿主机容器通信-通过网络跨宿主机互联
这篇文章介绍了Docker容器跨宿主机通信的实现方法,包括Docker的四种网络模式(host、none、container、bridge)以及如何通过修改网络配置和添加路由规则来实现不同宿主机上的容器之间的互联。
1704 0
Docker跨宿主机容器通信-通过网络跨宿主机互联
一文讲明 网络调试助手的基本使用 NetAssist
文章介绍了网络调试助手NetAssist的基本使用方法,包括创建客户端和服务端,模拟网络连接和数据发送,并通过Java代码示例展示了客户端与服务端之间的通信过程。
一文讲明 网络调试助手的基本使用 NetAssist
|
网络协议 Ubuntu 前端开发
好好的容器突然起不来,经定位是容器内无法访问外网了?测试又说没改网络配置,该如何定位网络问题
本文记录了一次解决前端应用集成到主应用后出现502错误的问题。通过与测试人员的沟通,最终发现是DNS配置问题导致的。文章详细描述了问题的背景、沟通过程、解决方案,并总结了相关知识点和经验教训,帮助读者学习如何分析和定位网络问题。
1174 1
|
网络协议 Shell 网络安全
docker容器网络问题
【10月更文挑战第4天】
2191 2