阿里云DTS踩坑经验分享系列|使用VPC数据通道解决网络冲突问题

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 1个月
简介: 阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。本文介绍如何使用VPC数据通道解决网络冲突问题。

阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。


使用100网段访问实例弊端

当用户希望使用阿里云DTS将IDC自建库、或者他云自建库同步到阿里云上时,按照之前添加DTS服务器的IP地址段的操作,用户需要将多个100网段cidr在其专线、VPN上做路由配置,并在数据库上将100网段cidr加入白名单。具体的网络拓扑结构如下图所示:

但是,此类配置方法存在一些弊端:

  1. 配置完成后,用户无法自行在VPC内模拟100网段向数据库发起telnet、ping等测试连接,100网段的测试连接只能由阿里云DTS发起。
  2. 阿里云DTS测试连接只能做telnet,无法执行ping、traceroute、MTR等网络路由探测命令。
  3. 用户如果遇到网络不通问题只能依赖阿里云工作人员进行排查,无法自行进行有效的问题诊断和修复。
  4. 100网段除了有用户无法自行模拟的问题,还会存在跟友商云云服务网段冲突的风险。(历史上我们已经遇到了多起用户在多云环境下,对端云无法回应DTS 100网段报文的问题。)


什么是VPC数据通道

为了解决上述弊端问题,阿里云DTS正在灰度上线新的VPC数据通道方案,通过将 使用100网段访问用户实例,转化为 使用用户私网IP访问用户实例,从根源上解决用户使用100网段的配置复杂性问题。

新的方案架构图如下所示:

VPC数据通道通过使用用户私网IP访问用户实例的方案,使网络链路变得面向用户可控。

如上图所示,用户在IDC/他云环境中具有一个数据库实例,此实例地址为10.0.0.1:3306,IDC/他云环境的私有网段为10.0.0.0/8;同时用户在阿里云环境中具有一个VPC,用户IDC/他云环境与云上环境VPC已打通,VPC内的任意IP可以访问10.0.0.1:3306数据库实例。用户希望通过DTS将其IDC数据库实例迁移到云上VPC的RDS中。在使用了DTS VPC数据通道之后,DTS将在VPC内的VSW上,新增一个弹性网卡,(此弹性网卡的IP为172.16.0.1)并使用此弹性网卡IP作为源IP,访问用户IDC数据库实例,


VPC数据通道优势

相比于原先使用100网段访问用户实例,VPC数据通道具有以下优势:

  • DTS源IP用户可控:用户可控制DTS使用什么地址访问他云/IDC实例(用户指定VPC内VSW给DTS使用)
  • 用户可预先检查网络连通性:在用户配置DTS任务之前,可提前自行检查VSW到他云/IDC环境数据库的连通性,在VSW上申请ECS,并对他云/IDC数据库执行 telnet、ping、traceroute、MTR等命令,如网络不通可提前处理,避免等到配置DTS任务时才发现问题所在,耽误任务进度。
  • DTS使用网络组件以标准云产品形式对客户呈现:用户可在ECS控制台 > 网络与安全 > 弹性网卡 查找到DTS创建的用于访问用户实例的弹性网卡。
  • 有效减少因问题排查而浪费的时间,保障整个项目按计划进行。通过这些预防性措施,能够大幅降低因未知因素造成的延迟风险,确保项目的每一个阶段都在可控范围内进行。


了解更多

  1. 数据传输服务(Data Transmission Service,简称DTS)支持关系型数据库、NoSQL、大数据(OLAP)等数据源,集数据迁移、订阅、实时同步、校验功能于一体,能够解决公共云、混合云场景下,远距离、秒级异步数据传输难题。其底层基础设施采用阿里双11异地多活架构,为数千下游应用提供实时数据流,已在线上稳定运行7年之久,是一款沉淀了丰富实践经验的可靠产品。点击了解更多DTS相关信息
  2. 有关VPC数据通道的详情和使用限制,您可以参考 https://help.aliyun.com/zh/dts/user-guide/what-is-a-vpc-data-channel
  3. 目前VPC数据通道方案正在线上灰度中,欢迎线上试用:https://help.aliyun.com/zh/dts/user-guide/configure-a-vpc-data-channel-task
  4. 欢迎加入钉群讨论交流:

image.png

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
2月前
|
机器学习/深度学习 算法 调度
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
238 0
|
3月前
|
机器学习/深度学习 数据采集 传感器
【故障诊断】基于matlab BP神经网络电机数据特征提取与故障诊断研究(Matlab代码实现)
【故障诊断】基于matlab BP神经网络电机数据特征提取与故障诊断研究(Matlab代码实现)
100 0
|
4月前
|
数据采集 存储 算法
MyEMS 开源能源管理系统:基于 4G 无线传感网络的能源数据闭环管理方案
MyEMS 是开源能源管理领域的标杆解决方案,采用 Python、Django 与 React 技术栈,具备模块化架构与跨平台兼容性。系统涵盖能源数据治理、设备管理、工单流转与智能控制四大核心功能,结合高精度 4G 无线计量仪表,实现高效数据采集与边缘计算。方案部署灵活、安全性高,助力企业实现能源数字化与碳减排目标。
106 0
|
5月前
|
Python
LBA-ECO CD-32 通量塔网络数据汇编,巴西亚马逊:1999-2006,V2
该数据集汇集了1999年至2006年间巴西亚马逊地区九座观测塔的碳和能量通量、气象、辐射等多类数据,涵盖小时至月度时间步长。作为第二版汇编,数据经过协调与质量控制,扩展了第一版内容,并新增生态系统呼吸等相关计算数据,支持综合研究与模型合成。数据以36个制表符分隔文本文件形式提供,配套PDF说明文件,适用于生态与气候研究。引用来源为Restrepo-Coupe等人(2021)。
63 1
|
8天前
|
机器学习/深度学习 人工智能 算法
【基于TTNRBO优化DBN回归预测】基于瞬态三角牛顿-拉夫逊优化算法(TTNRBO)优化深度信念网络(DBN)数据回归预测研究(Matlab代码实现)
【基于TTNRBO优化DBN回归预测】基于瞬态三角牛顿-拉夫逊优化算法(TTNRBO)优化深度信念网络(DBN)数据回归预测研究(Matlab代码实现)
|
2月前
|
机器学习/深度学习 数据采集 运维
改进的遗传算法优化的BP神经网络用于电厂数据的异常检测和故障诊断
改进的遗传算法优化的BP神经网络用于电厂数据的异常检测和故障诊断
|
4月前
|
存储 监控 算法
基于 Python 跳表算法的局域网网络监控软件动态数据索引优化策略研究
局域网网络监控软件需高效处理终端行为数据,跳表作为一种基于概率平衡的动态数据结构,具备高效的插入、删除与查询性能(平均时间复杂度为O(log n)),适用于高频数据写入和随机查询场景。本文深入解析跳表原理,探讨其在局域网监控中的适配性,并提供基于Python的完整实现方案,优化终端会话管理,提升系统响应性能。
104 4
|
5月前
|
开发者
鸿蒙仓颉语言开发教程:网络请求和数据解析
本文介绍了在仓颉开发语言中实现网络请求的方法,以购物应用的分类列表为例,详细讲解了从权限配置、发起请求到数据解析的全过程。通过示例代码,帮助开发者快速掌握如何在网络请求中处理数据并展示到页面上,减少开发中的摸索成本。
鸿蒙仓颉语言开发教程:网络请求和数据解析
|
7月前
|
安全 网络安全 定位技术
网络通讯技术:HTTP POST协议用于发送本地压缩数据到服务器的方案。
总的来说,无论你是一名网络开发者,还是普通的IT工作人员,理解并掌握POST方法的运用是非常有价值的。它就像一艘快速,稳定,安全的大船,始终为我们在网络海洋中的冒险提供了可靠的支持。
221 22
|
7月前
|
存储 数据库 Python
利用Python获取网络数据的技巧
抓起你的Python魔杖,我们一起进入了网络之海,捕捉那些悠游在网络中的数据鱼,想一想不同的网络资源,是不是都像数不尽的海洋生物,我们要做的,就是像一个优秀的渔民一样,找到他们,把它们捕获,然后用他们制作出种种美味。 **1. 打开魔法之门:请求包** 要抓鱼,首先需要一个鱼网。在Python的世界里,我们就是通过所谓的“请求包”来发送“抓鱼”的请求。requests是Python中常用的发送HTTP请求的库,用它可以方便地与网络上的资源进行交互。所谓的GET,POST,DELETE,还有PUT,这些听起来像偶像歌曲一样的单词,其实就是我们鱼网的不同方式。 简单用法如下: ``` im
140 14

热门文章

最新文章

下一篇
开通oss服务