okcc呼叫中心应用崩溃网络排查

简介: okcc呼叫中心应用崩溃网络排查

在分析疑似网络故障时,哪些是我们必须要做的 一般正常来说可能有以下几点:清楚故障现象、明确网络拓扑、梳理数据流向、合理部署抓包点等。


因应用系统负责人反馈交互较简单,且故障现象随机较频繁,在远端呼叫中心客户端侧暂无技术能力抓包的情况下,遂在服务器侧进行抓包,抓包点在服务器网关交换机上。\


问题分析


首先根据上报的客户端1 IP 192.168.0.1 进行了数据包过滤抓取,观察是否有异常。 TCP 层面有会规律的建立即关闭连接,应该并不是什么问题,只是客户端和服务器之间的心跳包。再捞取唯一有数据字段传输的流,在相应时间内看起来也并没有什么问题,带 [PSH,ACK] 和 [ACK] 的数据包来回交互。


网络异常,图片无法展示
|


第一次分析尝试貌似并没有取到有用的信息,因此和呼叫中心同事强调客户端源IP以及应用闪退的时间点需进一步明确,要不服务器端的抓包分析很容易被大量数据包所掩盖。

第二次根据上报的问题客户端2 IP 192.168.0.2 ,服务器 IP 10.10.10.2 以及 故障时间点(1分钟内) 进行了数据包过滤抓取


发现客户端主动 RST 了连接,网络上并没有出现因延时或丢包所造成的重传现象。在故障时点内观察该客户端与其他服务器的通讯,发现有同样问题,客户端在同一时间点前后,同样主动 RST 了连接。根据相应数据包现象来看,问题更像是出在应用本身上面。

为进一步佐证结论,再一次回溯分析了客户端3 IP 192.168.0.3 在故障时间点的数据包,同样的现象,且无其他异常。


后续分析


根据业务所上报的问题现象,在不同的客户端、服务器以及不同的故障时间点,综合分析出问题并不是在内部网络上(包括呼叫中心和总部互连的专线),所看到的都是客户端行为,反馈应用系统负责人需进一步排查该应用上的故障日志。


后续应用系统负责人在客户端上调取应用日志,发现在故障时点上应用有调用服务失败现象,紧接着造成应用程序崩溃。后配合分析发现是该应用在办理某项业务时,会调用公网服务,即在呼叫中心本地客户端会产生从公网外出访问至总部数据中心DMZ区域的服务器,而由于安全HW要求,呼叫中心一刀切关闭了公网访问,因此造成了调用失败,导致应用崩溃,而在内网所抓取的数据包 RST 都是该应用崩溃关闭后所产生的后续行为,至此问题处理结束。


总结


回顾整个问题,最后所强调的仍然是开头提到的几点建议,a. 清楚故障现象,明确问题所发生的行为,结合应用或系统日志综合分析;b. 明确网络拓扑,定位客户端和服务器所处的位置,交互方式,判断可能发生的问题点;c. 梳理数据流向,理清数据交互的走向、类型、规律,不要有所遗漏。d. 合理部署抓包点,根据问题的不同,可能需要在客户端、服务器、网络设备前后进行一一抓包对比分析。

相关文章
|
10月前
|
机器学习/深度学习 PyTorch TensorFlow
卷积神经网络深度解析:从基础原理到实战应用的完整指南
蒋星熠Jaxonic,深度学习探索者。深耕TensorFlow与PyTorch,分享框架对比、性能优化与实战经验,助力技术进阶。
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
1534 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
|
12月前
|
监控 安全 Shell
管道符在渗透测试与网络安全中的全面应用指南
管道符是渗透测试与网络安全中的关键工具,既可用于高效系统管理,也可能被攻击者利用实施命令注入、权限提升、数据外泄等攻击。本文全面解析管道符的基础原理、实战应用与防御策略,涵盖Windows与Linux系统差异、攻击技术示例及检测手段,帮助安全人员掌握其利用方式与防护措施,提升系统安全性。
511 6
|
人工智能 监控 安全
NTP网络子钟的技术架构与行业应用解析
在数字化与智能化时代,时间同步精度至关重要。西安同步电子科技有限公司专注时间频率领域,以“同步天下”品牌提供可靠解决方案。其明星产品SYN6109型NTP网络子钟基于网络时间协议,实现高精度时间同步,广泛应用于考场、医院、智慧场景等领域。公司坚持技术创新,产品通过权威认证,未来将结合5G、物联网等技术推动行业进步,引领精准时间管理新时代。
|
11月前
|
机器学习/深度学习 人工智能 算法
卷积神经网络深度解析:从基础原理到实战应用的完整指南
蒋星熠Jaxonic带你深入卷积神经网络(CNN)核心技术,从生物启发到数学原理,详解ResNet、注意力机制与模型优化,探索视觉智能的演进之路。
862 11
|
12月前
|
数据采集 存储 数据可视化
Python网络爬虫在环境保护中的应用:污染源监测数据抓取与分析
在环保领域,数据是决策基础,但分散在多个平台,获取困难。Python网络爬虫技术灵活高效,可自动化抓取空气质量、水质、污染源等数据,实现多平台整合、实时更新、结构化存储与异常预警。本文详解爬虫实战应用,涵盖技术选型、代码实现、反爬策略与数据分析,助力环保数据高效利用。
629 0
|
安全 Linux
利用Libevent在CentOS 7上打造异步网络应用
总结以上步骤,您可以在CentOS 7系统上,使用Libevent有效地构建和运行异步网络应用。通过采取正确的架构和代码设计策略,能保证网络应用的高效性和稳定性。
290 0
|
机器学习/深度学习 算法 测试技术
图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
本文探讨了基于图的重排序方法在信息检索领域的应用与前景。传统两阶段检索架构中,初始检索速度快但结果可能含噪声,重排序阶段通过强大语言模型提升精度,但仍面临复杂需求挑战
536 0
图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
|
监控 安全 Linux
AWK在网络安全中的高效应用:从日志分析到威胁狩猎
本文深入探讨AWK在网络安全中的高效应用,涵盖日志分析、威胁狩猎及应急响应等场景。通过实战技巧,助力安全工程师将日志分析效率提升3倍以上,构建轻量级监控方案。文章详解AWK核心语法与网络安全专用技巧,如时间范围分析、多条件过滤和数据脱敏,并提供性能优化与工具集成方案。掌握AWK,让安全工作事半功倍!
536 0
|
人工智能 安全 网络安全
网络安全厂商F5推出AI Gateway,化解大模型应用风险
网络安全厂商F5推出AI Gateway,化解大模型应用风险
455 0

热门文章

最新文章