《云原生网络数据面可观测性最佳实践》——五、 典型问题华山论剑——4.某客户偶发请求延迟

简介: 《云原生网络数据面可观测性最佳实践》——五、 典型问题华山论剑——4.某客户偶发请求延迟

问题背景

在客户的pod内直接访问服务,发现有较大延迟,现象为偶发,其中测试的healthz接口没有业务逻辑,进程处理较快 image.png

排查过程

添加-v后发现出现响应慢是,tcp连接建立没有问题: image.png 客户配置net-exporter socketlatency之后,获取异常的pod的监控后发现出现read100ms现象很明显:

image.png

 

于此同时这个异常podrxqueue也在周期性大量堆积,说明伴随用户业务请求处理过程,偶发行出现数据抓取慢导致堆积,与其他正常pod对比,差距明显

 

可以确认是用户程序去数据慢了,建议客户提供一下处理请求代码进行分析,发现客户代码中,请求处理采用串行方式

 

引导客户查询本身请求处理日志,发现异常pod单次请求有大量超过3s情况,但是正常处理其他pod均为500ms左右

 

根因原理

这个问题经分析排查,结论如下:

网络响应慢根因是用户程序没有及时读取socket中就绪数据导致,没有及时读取原因是客户应用程序io模型与客户应用程序单次请求处理变慢两个原因叠加引发

相关文章
【计算机网络】如何让客户端构造一个HTTP请求-2
【计算机网络】如何让客户端构造一个HTTP请求-2
【计算机网络】如何让客户端构造一个HTTP请求-2
|
3月前
|
存储 网络协议 Linux
《网络是怎么样连接的》读书笔记 - WEB服务端请求和响应(五)
《网络是怎么样连接的》读书笔记 - WEB服务端请求和响应(五)
38 0
|
4天前
|
存储 缓存 开发框架
Flutter的网络请求:使用Dart进行HTTP请求的技术详解
【4月更文挑战第26天】了解Flutter网络请求,本文详述使用Dart进行HTTP请求
|
29天前
|
存储 Cloud Native Serverless
云原生最佳实践系列 7:基于 OSS Object FC 实现非结构化文件实时处理
阿里云OSS对象存储方案利用函数计算FC,在不同终端请求时实时处理OSS中的原图,减少衍生图存储,降低成本。
|
29天前
|
负载均衡 Cloud Native 安全
云原生最佳实践系列 6:MSE 云原生网关使用 JWT 进行认证鉴权
本文档介绍了如何在 MSE(Microservices Engine)云原生网关中集成JWT进行全局认证鉴权。
|
29天前
|
消息中间件 NoSQL Kafka
云原生最佳实践系列 5:基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作
该方案描述了一个大数据ETL流程,其中阿里云Kafka消息根据内容触发函数计算(FC)函数,执行针对MongoDB的增、删、改操作。
|
2月前
|
消息中间件 Cloud Native 网络安全
云原生最佳实践系列 3:基于 SpringCloud 应用玩转 MSE
该文档介绍了基于云原生应用的产品构建的微服务架构实践。
|
2月前
|
网络协议 网络安全 API
Qt 网络编程之美:探索 URL、HTTP、服务发现与请求响应
Qt 网络编程之美:探索 URL、HTTP、服务发现与请求响应
49 1
|
2月前
|
负载均衡 Kubernetes Cloud Native
云原生最佳实践系列2:基于 MSE 云原生网关同城多活
通过使用阿里云的云原生微服务引擎 MSE,可以实现注册中心的同城容灾多活微服务应用。MSE 提供了云原生网关和注册中心,支持机房级故障的秒级自动转移、非对等部署下的全局流量负载均衡以及流量精细化管控。
662 39
|
2月前
|
消息中间件 存储 缓存
Kafka【基础知识 02】集群+副本机制+数据请求+物理存储+数据存储设计(图片来源于网络)
【2月更文挑战第20天】Kafka【基础知识 02】集群+副本机制+数据请求+物理存储+数据存储设计(图片来源于网络)
43 1

热门文章

最新文章