【云吞铺子】性能抖动剖析(一)

简介: 《云吞铺子-故障排查案例精选》重磅上线!首期我们将聚焦系统类常见问题——性能抖动,阿里云高级技术专家江冉将分享多年故障排查心得体会与经典案例实战经验。完成学习,你就是明日技术大牛!

《云吞铺子-故障排查案例精选》重磅上线!首期我们将聚焦系统类常见问题——性能抖动,阿里云高级技术专家江冉将分享多年故障排查心得体会与经典案例实战经验。完成学习,你就是明日技术大牛!

网络抖动案例是一类处理难度较大的问题,原因主要是很多抖动发生的频率不高,且持续时间非常短极限情况可能仅有100ms以下,而很多用户的业务应用对实时性要求非常高,因此对此类在百毫秒的延迟也会非常敏感。本期云吞铺子记录的是一次多团队协作处理的抖动问题的过程,由于用户的执着,也使得我们在这个案例分析得较为深入,希望对大家今后的此类案例的处理有所启发。

问题现象

让我们先来看看问题现象吧,用户的应用日志记录了百毫秒甚至1-2秒级别的延迟,而且发生较为频繁,由于业务的实时性要求较高,因此对业务的影响较大,当然其中也影响到了用户对迁云的信心。

初步排查

在用户通过应用层面的排查怀疑问题来源于虚拟网络环境的时候,我们需要做的第一件事就是首先要将问题简单化。这一步是非常必要的,因为我们对用户的应用不可能有非常深入的了解,所以用户的应用日志具体含义和记录方式对我们来说更像黑盒。我们所要做的是将问题现象转移到我们常见的系统组件上来,比如简单到ping。所以我们第一件所做的事情就是编写脚本进行两台机器的内网互ping,并将每次ping的延迟记录到文件。选择ping当然也是由于ping的间隔是可以设置到百毫秒的,比较容易说明问题。

在互ping的测试中我们确实发现有百毫秒以上的延迟,那么随后我们为了排除物理网络的影响,选择一台机器进行对网关的ping测试,同样发现了类似的延迟:

972e4efd5dee3da1bbb10b031c942aa8

来看看上面的ping测试结果吧,初看也仅仅是一些百毫秒延迟的集中发生而已,但是仔细观察就会发现每次发生都有这样的情况,就是延迟在一组连续的ping上发生的,并且延迟是倒序排列的。那么这意味着什么呢?

详细排查过程请查看视频。

相关文章
|
Go 芯片 异构计算
Vivado初体验LED工程 3
Vivado初体验LED工程
601 0
|
缓存 前端开发 应用服务中间件
Nginx的原理、常用配置和生产案例应用(二)
Nginx的原理、常用配置和生产案例应用
395 0
|
10月前
|
存储 人工智能 IDE
AI Coding 长文分享:如何真正把工具用起来,从原理到实践
本文从原理到实践系统地分享了如何高效使用AI编程工具。涵盖其底层机制(如Token计算、工具调用、Codebase索引与Merkle Tree)、提升对话质量的方法(如规则设置、渐进式开发)、实际应用场景(如代码检索、绘图生成、问题排查),并推荐了结合AI的编码最佳实践,包括文档、注释、命名规范和安全合规,旨在帮助不同经验水平的开发者真正把AI工具用好。
AI Coding 长文分享:如何真正把工具用起来,从原理到实践
|
7月前
|
安全 关系型数据库 数据库
我是怎么把 Docker 容器从一台服务器搬到另一台的
本文手把手教你零基础搞定Docker容器迁移:涵盖普通容器镜像打包(commit→save→scp→load→tag)和带Volume数据卷的完整迁移流程,详解备份恢复、路径权限、一致性等避坑要点,实操性强,小白也能一次成功。(239字)
|
缓存 NoSQL Java
Spring Boot中的分布式缓存方案
Spring Boot提供了简便的方式来集成和使用分布式缓存。通过Redis和Memcached等缓存方案,可以显著提升应用的性能和扩展性。合理配置和优化缓存策略,可以有效避免常见的缓存问题,保证系统的稳定性和高效运行。
599 3
|
传感器 算法 物联网
岩土工程中的振弦采集仪技术发展与前景展望
岩土工程中的振弦采集仪技术是一种用于测量土层和岩石中的振动信号的仪器。它通过探测地下振动信号的频率和振幅,可以用于判断地下岩土体的特性和变形状况。随着岩土工程领域的发展,振弦采集仪技术也得到了不断的改进和创新。目前,振弦采集仪技术已经取得了较大的进展,但仍存在一些技术挑战和发展方向。
岩土工程中的振弦采集仪技术发展与前景展望
|
存储 移动开发 JavaScript
uni-app 64聊天类chat.js封装(一)
`uni-app` 是一个使用 Vue.js 开发所有前端应用的框架,可以编译到iOS、Android、H5以及各种小程序等多个平台。当你提到“64聊天类`chat.js`封装”时,我假设你希望了解如
|
存储 缓存 安全
【高并发内存池】第四篇:PageCache初步设计
页缓存(PageCache)是在中心缓存(CentralCache)下面的一层缓存机制,它存储的是以页为单位的未切分大块跨度内存。中心缓存没有Span对象时,从PageCache分配出一定数量页(一页是8KB)的Span,把它们切割成定长大小的小块内存,分配给中心缓存。当中心缓存中一个Span的所有小块定长内存都回收以后,PageCache会回收中心缓存的Span对象,拿回来合并相邻页,组成更大的页,以缓解内存碎片的问题。 ———————————————— 版权声明:本文为CSDN博主「yuelinghou」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
|
存储 编译器 调度
【计算机体系结构】流水线冲突
【计算机体系结构】流水线冲突
2525 0
【计算机体系结构】流水线冲突
|
网络安全 对象存储 网络架构
《对象存储实战指南》第三章命名和同步3.1命名技术(二)
《对象存储实战指南》第三章命名和同步3.1命名技术
589 0
《对象存储实战指南》第三章命名和同步3.1命名技术(二)