okcc呼叫中心应用崩溃网络排查

简介: okcc呼叫中心应用崩溃网络排查

在分析疑似网络故障时,哪些是我们必须要做的 一般正常来说可能有以下几点:清楚故障现象、明确网络拓扑、梳理数据流向、合理部署抓包点等。


因应用系统负责人反馈交互较简单,且故障现象随机较频繁,在远端呼叫中心客户端侧暂无技术能力抓包的情况下,遂在服务器侧进行抓包,抓包点在服务器网关交换机上。\


问题分析


首先根据上报的客户端1 IP 192.168.0.1 进行了数据包过滤抓取,观察是否有异常。 TCP 层面有会规律的建立即关闭连接,应该并不是什么问题,只是客户端和服务器之间的心跳包。再捞取唯一有数据字段传输的流,在相应时间内看起来也并没有什么问题,带 [PSH,ACK] 和 [ACK] 的数据包来回交互。


网络异常,图片无法展示
|


第一次分析尝试貌似并没有取到有用的信息,因此和呼叫中心同事强调客户端源IP以及应用闪退的时间点需进一步明确,要不服务器端的抓包分析很容易被大量数据包所掩盖。

第二次根据上报的问题客户端2 IP 192.168.0.2 ,服务器 IP 10.10.10.2 以及 故障时间点(1分钟内) 进行了数据包过滤抓取


发现客户端主动 RST 了连接,网络上并没有出现因延时或丢包所造成的重传现象。在故障时点内观察该客户端与其他服务器的通讯,发现有同样问题,客户端在同一时间点前后,同样主动 RST 了连接。根据相应数据包现象来看,问题更像是出在应用本身上面。

为进一步佐证结论,再一次回溯分析了客户端3 IP 192.168.0.3 在故障时间点的数据包,同样的现象,且无其他异常。


后续分析


根据业务所上报的问题现象,在不同的客户端、服务器以及不同的故障时间点,综合分析出问题并不是在内部网络上(包括呼叫中心和总部互连的专线),所看到的都是客户端行为,反馈应用系统负责人需进一步排查该应用上的故障日志。


后续应用系统负责人在客户端上调取应用日志,发现在故障时点上应用有调用服务失败现象,紧接着造成应用程序崩溃。后配合分析发现是该应用在办理某项业务时,会调用公网服务,即在呼叫中心本地客户端会产生从公网外出访问至总部数据中心DMZ区域的服务器,而由于安全HW要求,呼叫中心一刀切关闭了公网访问,因此造成了调用失败,导致应用崩溃,而在内网所抓取的数据包 RST 都是该应用崩溃关闭后所产生的后续行为,至此问题处理结束。


总结


回顾整个问题,最后所强调的仍然是开头提到的几点建议,a. 清楚故障现象,明确问题所发生的行为,结合应用或系统日志综合分析;b. 明确网络拓扑,定位客户端和服务器所处的位置,交互方式,判断可能发生的问题点;c. 梳理数据流向,理清数据交互的走向、类型、规律,不要有所遗漏。d. 合理部署抓包点,根据问题的不同,可能需要在客户端、服务器、网络设备前后进行一一抓包对比分析。

相关文章
|
8天前
|
机器学习/深度学习 编解码 自动驾驶
RT-DETR改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
RT-DETR改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
31 3
RT-DETR改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
|
12天前
|
机器学习/深度学习 编解码 自动驾驶
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
40 16
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
|
1天前
|
机器学习/深度学习 数据采集 运维
机器学习在网络流量预测中的应用:运维人员的智慧水晶球?
机器学习在网络流量预测中的应用:运维人员的智慧水晶球?
30 18
|
1月前
|
负载均衡 容灾 Cloud Native
云原生应用网关进阶:阿里云网络ALB Ingress 全能增强
在过去半年,ALB Ingress Controller推出了多项高级特性,包括支持AScript自定义脚本、慢启动、连接优雅中断等功能,增强了产品的灵活性和用户体验。此外,还推出了ingress2Albconfig工具,方便用户从Nginx Ingress迁移到ALB Ingress,以及通过Webhook服务实现更智能的配置校验,减少错误配置带来的影响。在容灾部署方面,支持了多集群网关,提高了系统的高可用性和容灾能力。这些改进旨在为用户提供更强大、更安全的云原生网关解决方案。
568 20
|
2月前
|
Kubernetes 安全 Devops
有效抵御网络应用及API威胁,聊聊F5 BIG-IP Next Web应用防火墙
有效抵御网络应用及API威胁,聊聊F5 BIG-IP Next Web应用防火墙
97 10
有效抵御网络应用及API威胁,聊聊F5 BIG-IP Next Web应用防火墙
|
1月前
|
容灾 网络协议 数据库
云卓越架构:云上网络稳定性建设和应用稳定性治理最佳实践
本文介绍了云上网络稳定性体系建设的关键内容,包括面向失败的架构设计、可观测性与应急恢复、客户案例及阿里巴巴的核心电商架构演进。首先强调了网络稳定性的挑战及其应对策略,如责任共担模型和冗余设计。接着详细探讨了多可用区部署、弹性架构规划及跨地域容灾设计的最佳实践,特别是阿里云的产品和技术如何助力实现高可用性和快速故障恢复。最后通过具体案例展示了秒级故障转移的效果,以及同城多活架构下的实际应用。这些措施共同确保了业务在面对网络故障时的持续稳定运行。
|
2月前
|
数据采集 JavaScript 前端开发
异步请求在TypeScript网络爬虫中的应用
异步请求在TypeScript网络爬虫中的应用
|
2月前
|
存储 安全 网络安全
网络安全的盾与剑:漏洞防御与加密技术的实战应用
在数字化浪潮中,网络安全成为保护信息资产的重中之重。本文将深入探讨网络安全的两个关键领域——安全漏洞的防御策略和加密技术的应用,通过具体案例分析常见的安全威胁,并提供实用的防护措施。同时,我们将展示如何利用Python编程语言实现简单的加密算法,增强读者的安全意识和技术能力。文章旨在为非专业读者提供一扇了解网络安全复杂世界的窗口,以及为专业人士提供可立即投入使用的技术参考。
|
2月前
|
域名解析 运维 网络协议
网络诊断指南:网络故障排查步骤与技巧
网络诊断指南:网络故障排查步骤与技巧
665 7
|
3月前
|
网络协议 物联网 数据处理
C语言在网络通信程序实现中的应用,介绍了网络通信的基本概念、C语言的特点及其在网络通信中的优势
本文探讨了C语言在网络通信程序实现中的应用,介绍了网络通信的基本概念、C语言的特点及其在网络通信中的优势。文章详细讲解了使用C语言实现网络通信程序的基本步骤,包括TCP和UDP通信程序的实现,并讨论了关键技术、优化方法及未来发展趋势,旨在帮助读者掌握C语言在网络通信中的应用技巧。
81 2

热门文章

最新文章