应用数据迁移网络异常案例分析

本文涉及的产品
云服务器 ECS,u1 2核4GB 3个月
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: 某客户计划通过P2V工具迁移500台ECS镜像至阿里云华北1(青岛),在应用数据迁移传输过程中是把用户的系统盘、数据盘的数据通过公网传输到阿里云中转ECS实例上。6.12-6.13号批量迁移100台基本正常,从2018.6.13号晚10点左右开始连接阿里云中转ECS实例就出现中断,现象为在客户端telnet中转ECS实例8703端口提示Connection closed by foreign host. 但检查中转ECS实例的http 服务8080正常,而且其它地方测试中转ECS实例8073端口、8080端口服务均正常。

问题描述及现象

某客户计划通过P2V工具迁移500台左右镜像至阿里云华北1(青岛),在应用数据迁移传输过程中是把用户的系统盘、数据盘的数据通过公网传输到阿里云中转ECS实例上。

某客户6.12-6.13号批量迁移100台基本正常,从2018.6.13号晚10点左右开始连接阿里云中转ECS实例就出现中断,现象为在客户端telnet中转ECS实例8703端口提示Connection closed by foreign host. 但检查中转ECS实例的http 服务8080正常,而且其它地方测试中转ECS实例8073端口、8080端口服务均正常。

6.20-6.21恢复正常后,继续批量迁移了130台左右,但6.25号开始又问题重现。

问题处理过程

6.15号

12点左右开始,客户再次重现问题。
在客户侧telnet 10次都失败了,在阿里云ECS侧(47.104.79.200,i-m5ecitgdpobfwwrzb6bm)抓包如上rsync_server.cap。同时在其它地方telnet 正常。

和客户修改传输端口为8702测试了一下,telnet 10次全部成功,换回8703就不行了。这个跟网络运营商一贯的封端口的手法很类似,应该是端口被记录并限制了。

6.25号

客户临时改端口方案也行不通了,修改了2次端口都是传了一部分之后就被强制断开了,报一样的传输错误。但是在其他地方telnet中转ECS测试传输正常。

6.26号

20:30分-22:00分 迁云专家服务团队进入排障

1)从历史抓包信息来看,初步判断是安全策略或网络质量导致请求超时。

注:关于TCP的几个FLAGS字段标识,我这里简单介绍一下,有兴趣深入了解的可以自行百度查相关材料,大概含义是:

SYN表示建立连接,

FIN表示关闭连接,

ACK表示响应,

PSH表示有 DATA数据传输,

RST表示连接重置。

2)同时,从客户反馈的网络架构环境来看,客户网络环境部署了一些DDOS、FW等的安全防护的设备。

3)重新启动迁移任务进行测试,此时段网络传输正常。

22:10分-23:00问题重现

1)从客户反馈的出口监控流量上看已经达到了带宽上限200M。

2)客户侧通过检查FW上的log日志暂未发现异常信息。

3)由于时间关系,总结并计划第二天排查的思路:

(1)请XXX客户数据中心部门画一下当前的网络拓扑图,明天和阿里云专家一起开会介绍。

(2)请XXX客户数据中心部门和运营商确认:如果超过了目前购买的200M带宽,运营商会如何处理?协调让运营商取消限制进行一次测试。

(3)后续迁移,启用迁移工具限流,设置总流量不超过100M。

(4)请XXX客户数据中心部门,将迁移时的3个随机IP(NAT出去的外部地址)修改为1个,然后进行测试。

6.27号

10:10 了解客户环境

按昨晚计划的排查思路,客户介绍网络环境,从中了解到客户IDC部署了流量清洗AntiDDoS设备、链路负载均衡F5、H3C M9006防火墙设备等。大致的网络环境如下所示:

10:20 查看日志

查看AntiDDoS、M9006日志、策略等,均未发现异常信息。

#

#

#

10:30 切换线路

将原来的移动线路切换至联通线路,将SNAT设置为一个公网IP X.X.X.62,同时将带宽限流为20M进行迁移测试,此时P2V迁移工具传系统盘、数据盘均正常。

11:00 问题重现

源服务器测试:

其它公网环境:

12:00-15:00 问题范围定位

1)在客户网络环境互联网区最外层跟运营商对接互联的华为C6850设备上设置联通问题IP(X.X.X.62),也即是原来SNAT设置的公网IP。测试此时联通线路是否正常的.排除定位是联通线路问题还是企业内部网络问题,把范围定位.

2)在C6850 测试8703端口不通,但可以访问外部网络,跟源迁移服务器情况一致,基本可以判断此异常问题跟客户网络环境无关。

15:30 更换SNAT公网地址

更换SNAT公网地址测试8703端口通过,即将联通外网IP X.X.X.62更改为X.X.X.60).基本上可以确定客户的X.X.X.62 8703端口被上游运营商、云厂商封堵或拦截。

7、总结并计划明天下一步的排查思路:

1)阿里云网络排查,联系“网络运营服务台”协助定位。

2)阿里云安全策略排查,联系阿里云安全同事。

3)切换电信线路进行复盘迁移测试(移动、联通线路均已测试且都能重现同样的问题出来,但为了让客户更加积极配合我们进行排查问题,故继续又选电信线路进行测试,尽管理论上三家运营商同时封端口的概率很低)。

6.28号 问题解决

1)09:30 咨询阿里云-安全部李XX,从描述的现象看很像是安全攻击。

2)10:30 联系阿里云-安全部陈XX,陈XX通过安全运营平台查看到拦截信息。

3)12:30阿里云-安全部陈XX把客户的公网IP添加为白名单后问题解决。

影响范围

数据迁移中断,影响项目正常进行。

问题结论

安全策略:本次数据迁移网络异常主要是命中了阿里云的“防恶意攻击的安全策略”。

触发场景:在短时间内的大批量临时的ECS消耗(创建到释放)场景可能会触发。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
Web App开发 弹性计算 DataWorks
DataWork数据处理问题之开发页面展示不出来如何解决
DataWork数据处理是指使用DataWorks平台进行数据开发、数据处理和数据治理的活动;本合集将涵盖DataWork数据处理的工作流程、工具使用和问题排查,帮助用户提高数据处理的效率和质量。
|
1月前
|
关系型数据库 数据管理 数据库
数据管理DMS操作报错合集之在数据同步时遇到报错,该如何排查
数据管理DMS(Data Management Service)是阿里云提供的数据库管理和运维服务,它支持多种数据库类型,包括RDS、PolarDB、MongoDB等。在使用DMS进行数据库操作时,可能会遇到各种报错情况。以下是一些常见的DMS操作报错及其可能的原因与解决措施的合集。
|
2月前
|
存储 分布式计算 DataWorks
DataWorks产品使用合集之在DataWorks中,从数据同步到最终的大屏幕展示的基本流程如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
38 0
DataWorks产品使用合集之在DataWorks中,从数据同步到最终的大屏幕展示的基本流程如何解决
|
2月前
|
分布式计算 BI API
Dataphin常见问题之指标极端逻辑一直加载不出来如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
9月前
|
Cloud Native Go
如何回答‘行为面试题’:用实例展示你的能力
如何回答‘行为面试题’:用实例展示你的能力
63 0
|
10月前
|
算法 大数据
新版某数分析思路
新版某数分析思路
84 0
|
Web App开发 存储 负载均衡
RPA 流程梳理和适用场景以及控制台功能展示(一)| 学习笔记
快速学习 RPA 流程梳理和适用场景以及控制台功能展示。
365 0
RPA 流程梳理和适用场景以及控制台功能展示(一)| 学习笔记
|
人工智能 监控 安全
RPA 流程梳理和适用场景以及控制台功能展示(二)| 学习笔记
快速学习 RPA 流程梳理和适用场景以及控制台功能展示。
389 0
RPA 流程梳理和适用场景以及控制台功能展示(二)| 学习笔记
|
Web App开发 文字识别 负载均衡
RPA 流程梳理和适用场景以及控制台功能展示(一)|学习笔记
快速学习 RPA 流程梳理和适用场景以及控制台功能展示(一)
667 0
RPA 流程梳理和适用场景以及控制台功能展示(一)|学习笔记