某业务间接性获取不到数据

本文涉及的产品
云服务器 ECS,每月免费额度280元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: 某业务间接性获取不到数据

引言

问题往往出现在意想不到的地方;问题分析时,我们需要更多的数据作为支撑。

问题现象

某天晚上用户反馈业务经过高防产品后间接性的无法获取到数据;判断是高防的问题导致的,由于是线上业务需要我们紧急处理。

第一优先级恢复业务

用户反馈由于源站证书问题,无法进行域名解析回源的。当时萌了,还有这种操作;随后的排查:
1、请用户处理源站证书,全部处理正确;随后全部域名解析回源。
2、分析高防4层&7层日志 是否有拦截情况。

分析高防日志

在高防的4层和7层日志上,没有任何的异常返回码以及拦截记录。即高防没有啥问题

源站处理

用户将源站证书处理正常;将域名全部解析回源,但是依然发现有问题。
反馈的业务架构为:Client->cms..cn(slb-ECS)->content.x.cn
其中b.com是在高防上的。但是均已经解析回源负载均衡了依然有问题,苦于联系不到用户的开发同学;与客户达成共识暂定白天继续分析。

深入分析

业务恢复
白天开发操作,由原来的请求访问b.com 修改为内网负载均衡之后,问题现象消失。需要我们配合查询原因,同时不认可是应用问题;判断的依据是真正的通信域名一直在高防上

Review业务结构

针对这个情况拉上用户的运维,开发,我们的同学与用户对齐信息;了解到如下信息
用户的运维和开发是2个部门,操作完全是分开的。晚上操作的b.com回源其实没有效果,因为当时cms.x.cn(slb-ECS)访问的域名是content.x.com;content.x.com这个域名一直解析在高防上没有解析走过。
Review分析过程
根据用户的数据
cms.x.cn(slb-ECS)这5个ECS的公网地址是需要大量的访问 content.x.com 这个域名的。
image.png

分析高防7层日志

分析过程中发现共5台ECS的公网IP,但是在高防的7层日志里只有3台的数据量是正常的;其他1台没有日志,1台非常少。这个数据是符合间接性的失败的情况。
image.png

分析高防4层日志

分析过程中发现用户的5台ECS的公网IP,在4层日志都是有的,且量还不小。

分析初步结论

开始认为可能为高防的VIP到7层代理之间,或者7层代理的问题。但是经过与开发同学的讨论
1、LB 流的日志是正常的。所以当时的网络以及Tengine不太可能有问题。
2、用户是走的https协议,那么三次握手完成之后,应该是要进行ssl握手。
最终判断比较大的可能是由于当时ssl握手的时候,出现了问题。

验证问题

将其中一台请求基本没有的ECS的链接地址修改为高防/SLB,然后在该ECS上进行抓包分析。看到的抓包如下,肯定完成三次握手后,没有进行ssl握手的动作直接断开了链接;这个行为是不符合预期的。
image.png

随后用户对比正常与不正常的服务配置。
定位到是由于php的配置文件中,没有开启模块extension=php_openssl.dll ;开启后问题现象消失。

目录
相关文章
|
2月前
|
SQL 前端开发 搜索推荐
淘天业务技术2023年度热门文章盘点
淘天业务技术2023年度热门文章盘点
75 4
|
2月前
|
数据采集 监控 DataWorks
DataWork数据处理问题之业务数据化如何解决
DataWork数据处理是指使用DataWorks平台进行数据开发、数据处理和数据治理的活动;本合集将涵盖DataWork数据处理的工作流程、工具使用和问题排查,帮助用户提高数据处理的效率和质量。
41 2
|
11月前
|
存储 网络性能优化
多媒体通信业务
多媒体通信业务
|
11月前
「业务架构」业务服务:它们到底是什么?
「业务架构」业务服务:它们到底是什么?
|
11月前
|
负载均衡 监控 架构师
【业务架构】LEANIX : 业务能力
【业务架构】LEANIX : 业务能力
|
数据采集 JSON 运维
业务监控助力企业实现业务连续性
业务运行过程中,伴随着产生丰富多样的日志,其中可以提炼出多种可以综合反映业务运行状态的关键指标如请求总量、成功量、失败率、耗时等。如何快速定义这些指标的采集规则,准确的提取指标背后的实时数据,帮助企业管理者快速了解当前业务的健康状态,辅助运维团队定位业务运行中的问题环节,是一个成熟的业务监控系统的能力体现。
295 0
业务监控助力企业实现业务连续性
|
存储 缓存 监控
11月业务安全月报
随着数字化的深入普及,业务愈加开放互联。企业的关键数据、用户信息、基础设施、运营过程等均处于边界模糊且日益开放的环境中,涉及利益流和高附加值的业务面临多样的安全隐患,随时可能遭遇损失,进而影响企业运营和发展。
144 0
11月业务安全月报
|
SQL 大数据 BI
业务重要?还是技术重要?
业务重要?还是技术重要?
259 0
|
存储 前端开发 小程序
【oneX客户中台】清洗多渠道客户数据,统一存储分析和应用,赋能传统CRM
商派的客户中台,是一套可将多渠道的客户数据规则,统一清洗储存后,汇总分析管理的平台系统。它并非一个传统应用型的CRM,它的着重点在于客户基础数据,以及客户资产的一个清洗和管理。
【oneX客户中台】清洗多渠道客户数据,统一存储分析和应用,赋能传统CRM
|
数据采集 机器学习/深度学习 人工智能
聊聊我们在业务链路升级中做的数据洞察
围绕数据洞察,结合数据分析的核心元素,以实际落地的case来举例说明,数据洞察中的机会。
253 0
聊聊我们在业务链路升级中做的数据洞察