阿里云DTS踩坑经验分享系列|使用VPC数据通道解决网络冲突问题

本文涉及的产品
数据传输服务 DTS,同步至DuckDB 3个月
简介: 阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。本文介绍如何使用VPC数据通道解决网络冲突问题。

阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。


使用100网段访问实例弊端

当用户希望使用阿里云DTS将IDC自建库、或者他云自建库同步到阿里云上时,按照之前添加DTS服务器的IP地址段的操作,用户需要将多个100网段cidr在其专线、VPN上做路由配置,并在数据库上将100网段cidr加入白名单。具体的网络拓扑结构如下图所示:

但是,此类配置方法存在一些弊端:

  1. 配置完成后,用户无法自行在VPC内模拟100网段向数据库发起telnet、ping等测试连接,100网段的测试连接只能由阿里云DTS发起。
  2. 阿里云DTS测试连接只能做telnet,无法执行ping、traceroute、MTR等网络路由探测命令。
  3. 用户如果遇到网络不通问题只能依赖阿里云工作人员进行排查,无法自行进行有效的问题诊断和修复。
  4. 100网段除了有用户无法自行模拟的问题,还会存在跟友商云云服务网段冲突的风险。(历史上我们已经遇到了多起用户在多云环境下,对端云无法回应DTS 100网段报文的问题。)


什么是VPC数据通道

为了解决上述弊端问题,阿里云DTS正在灰度上线新的VPC数据通道方案,通过将 使用100网段访问用户实例,转化为 使用用户私网IP访问用户实例,从根源上解决用户使用100网段的配置复杂性问题。

新的方案架构图如下所示:

VPC数据通道通过使用用户私网IP访问用户实例的方案,使网络链路变得面向用户可控。

如上图所示,用户在IDC/他云环境中具有一个数据库实例,此实例地址为10.0.0.1:3306,IDC/他云环境的私有网段为10.0.0.0/8;同时用户在阿里云环境中具有一个VPC,用户IDC/他云环境与云上环境VPC已打通,VPC内的任意IP可以访问10.0.0.1:3306数据库实例。用户希望通过DTS将其IDC数据库实例迁移到云上VPC的RDS中。在使用了DTS VPC数据通道之后,DTS将在VPC内的VSW上,新增一个弹性网卡,(此弹性网卡的IP为172.16.0.1)并使用此弹性网卡IP作为源IP,访问用户IDC数据库实例,


VPC数据通道优势

相比于原先使用100网段访问用户实例,VPC数据通道具有以下优势:

  • DTS源IP用户可控:用户可控制DTS使用什么地址访问他云/IDC实例(用户指定VPC内VSW给DTS使用)
  • 用户可预先检查网络连通性:在用户配置DTS任务之前,可提前自行检查VSW到他云/IDC环境数据库的连通性,在VSW上申请ECS,并对他云/IDC数据库执行 telnet、ping、traceroute、MTR等命令,如网络不通可提前处理,避免等到配置DTS任务时才发现问题所在,耽误任务进度。
  • DTS使用网络组件以标准云产品形式对客户呈现:用户可在ECS控制台 > 网络与安全 > 弹性网卡 查找到DTS创建的用于访问用户实例的弹性网卡。
  • 有效减少因问题排查而浪费的时间,保障整个项目按计划进行。通过这些预防性措施,能够大幅降低因未知因素造成的延迟风险,确保项目的每一个阶段都在可控范围内进行。


了解更多

  1. 数据传输服务(Data Transmission Service,简称DTS)支持关系型数据库、NoSQL、大数据(OLAP)等数据源,集数据迁移、订阅、实时同步、校验功能于一体,能够解决公共云、混合云场景下,远距离、秒级异步数据传输难题。其底层基础设施采用阿里双11异地多活架构,为数千下游应用提供实时数据流,已在线上稳定运行7年之久,是一款沉淀了丰富实践经验的可靠产品。点击了解更多DTS相关信息
  2. 有关VPC数据通道的详情和使用限制,您可以参考 https://help.aliyun.com/zh/dts/user-guide/what-is-a-vpc-data-channel
  3. 目前VPC数据通道方案正在线上灰度中,欢迎线上试用:https://help.aliyun.com/zh/dts/user-guide/configure-a-vpc-data-channel-task
  4. 欢迎加入钉群讨论交流:

image.png

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
11月前
|
存储 运维 监控
云服务运行安全创新标杆:阿里云飞天洛神云网络子系统“齐天”再次斩获奖项
阿里云“超大规模云计算网络一体化运行管理平台——齐天系统”凭借卓越的技术创新与实践成果,荣获“云服务运行安全创新成果奖”,同时,齐天团队负责人吕彪获评“全栈型”专家认证。
|
7月前
|
人工智能 安全 架构师
2025云栖大会 | 阿里云网络技术Session主题资料和视频回放归档
2025年9月24日-26日,杭州,一年一度的云栖大会如期而至;阿里云飞天洛神云网络作为阿里云计算的连接底座,是飞天云操作系统的核心组件,致力于为上云企业提供高可靠、高性能、高弹性、智能的连接服务。本次云栖,云网络产品线也带来全系列产品升级,以及创新技术重磅解读,围绕增强确定性、提效自动化、深耕智能化和敏捷全球化带来技术、产品和服务升级,以及全新的云网络产品生态合作计划发布。
924 4
|
7月前
|
弹性计算 安全 应用服务中间件
阿里云渠道商:怎么配置阿里云网络ACL?
阿里云网络ACL是子网级无状态防火墙,支持精准流量控制、规则热生效且免费使用。本文详解5步配置流程,助您实现Web与数据库层的安全隔离,提升云上网络安全。
|
7月前
|
弹性计算 网络安全 数据中心
阿里云创建专有网络VPC的【IPv4网段】如何选择?有什么区别?
阿里云VPC创建时需选IPv4网段,默认提供10.0.0.0/16、172.16.0.0/16、192.168.0.0/16,三者无功能差异。若仅单VPC且不连本地数据中心,可任选其一,确保不冲突即可。多VPC或混合云场景需规划避免IP重叠。不支持100.64.0.0/10等特殊网段。建议结合IPAM进行地址管理。
|
弹性计算 监控 开发工具
【阿里云弹性计算】阿里云ECS的网络优化实践:VPC配置与网络性能提升
【5月更文挑战第29天】阿里云ECS通过虚拟私有云(VPC)提供高性能、安全的网络环境。VPC允许用户自定义IP地址、路由规则和安全组。配置包括:创建VPC和交换机,设定安全组,然后创建ECS实例并绑定。优化网络性能涉及规划网络拓扑、优化路由、启用网络加速功能(如ENI和EIP)及监控网络性能。示例代码展示了使用Python SDK创建VPC和交换机的过程。
847 3
|
弹性计算 运维 负载均衡
课时3:阿里云专有网络VPC:让网络更加独立
阿里云专有网络VPC提供独立、安全的云上网络环境,支持自定义IP地址网段和灵活的路由配置。通过高速通道实现优质网络链路,可用性达99.95%,满足企业高要求的数据传输需求。VPC结合弹性公网IP、负载均衡SLB、Net网关等功能,帮助企业轻松管理网络资源,降低运维成本,实现高效、安全的混合云架构部署。
348 0
|
敏捷开发 网络协议 测试技术
阿里云云效产品使用合集之在vpc网络里,如何升级agent
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
弹性计算 关系型数据库 数据库
【阿里云助力企业数字化转型:专有网络、ECS、RDS等一网打尽】
数字化转型已经成为企业发展的必然趋势,而阿里云作为我国领先的云计算服务提供商,为企业提供了一整套完善的云服务解决方案。本文将详细介绍阿里云的专有网络VPC、云服务器ECS、云数据RDS、云数据库Redis、Serverless容器集群ASK、微服务引擎MSE、云效以及云速搭CADT等产品,帮助企业轻松实现数字化转型。 正文:
450 3
|
存储 域名解析 弹性计算
阿里云VPC内网DNS日志正式接入SLS日志审计服务
内网DNS日志(Intranet DNS Log) 记录了指定阿里云uid下所有VPC网络内终端产生的DNS域名解析请求和应答,终端请求的这些域名既包含了配置在PrivateZone上的内网权威域名,也包含了外部公网域名。为了满足用户可以快速、简单实现多账号、多地域场景下内网DNS日志的采集、管理、中心化查询分析等需求,DNS与SLS联合开发,在SLS日志审计应用中发布一键开启内网DNS日志的功能。
阿里云VPC内网DNS日志正式接入SLS日志审计服务