阿里云DTS踩坑经验分享系列|使用VPC数据通道解决网络冲突问题

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
简介: 阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。本文介绍如何使用VPC数据通道解决网络冲突问题。

阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。


使用100网段访问实例弊端

当用户希望使用阿里云DTS将IDC自建库、或者他云自建库同步到阿里云上时,按照之前添加DTS服务器的IP地址段的操作,用户需要将多个100网段cidr在其专线、VPN上做路由配置,并在数据库上将100网段cidr加入白名单。具体的网络拓扑结构如下图所示:

但是,此类配置方法存在一些弊端:

  1. 配置完成后,用户无法自行在VPC内模拟100网段向数据库发起telnet、ping等测试连接,100网段的测试连接只能由阿里云DTS发起。
  2. 阿里云DTS测试连接只能做telnet,无法执行ping、traceroute、MTR等网络路由探测命令。
  3. 用户如果遇到网络不通问题只能依赖阿里云工作人员进行排查,无法自行进行有效的问题诊断和修复。
  4. 100网段除了有用户无法自行模拟的问题,还会存在跟友商云云服务网段冲突的风险。(历史上我们已经遇到了多起用户在多云环境下,对端云无法回应DTS 100网段报文的问题。)


什么是VPC数据通道

为了解决上述弊端问题,阿里云DTS正在灰度上线新的VPC数据通道方案,通过将 使用100网段访问用户实例,转化为 使用用户私网IP访问用户实例,从根源上解决用户使用100网段的配置复杂性问题。

新的方案架构图如下所示:

VPC数据通道通过使用用户私网IP访问用户实例的方案,使网络链路变得面向用户可控。

如上图所示,用户在IDC/他云环境中具有一个数据库实例,此实例地址为10.0.0.1:3306,IDC/他云环境的私有网段为10.0.0.0/8;同时用户在阿里云环境中具有一个VPC,用户IDC/他云环境与云上环境VPC已打通,VPC内的任意IP可以访问10.0.0.1:3306数据库实例。用户希望通过DTS将其IDC数据库实例迁移到云上VPC的RDS中。在使用了DTS VPC数据通道之后,DTS将在VPC内的VSW上,新增一个弹性网卡,(此弹性网卡的IP为172.16.0.1)并使用此弹性网卡IP作为源IP,访问用户IDC数据库实例,


VPC数据通道优势

相比于原先使用100网段访问用户实例,VPC数据通道具有以下优势:

  • DTS源IP用户可控:用户可控制DTS使用什么地址访问他云/IDC实例(用户指定VPC内VSW给DTS使用)
  • 用户可预先检查网络连通性:在用户配置DTS任务之前,可提前自行检查VSW到他云/IDC环境数据库的连通性,在VSW上申请ECS,并对他云/IDC数据库执行 telnet、ping、traceroute、MTR等命令,如网络不通可提前处理,避免等到配置DTS任务时才发现问题所在,耽误任务进度。
  • DTS使用网络组件以标准云产品形式对客户呈现:用户可在ECS控制台 > 网络与安全 > 弹性网卡 查找到DTS创建的用于访问用户实例的弹性网卡。
  • 有效减少因问题排查而浪费的时间,保障整个项目按计划进行。通过这些预防性措施,能够大幅降低因未知因素造成的延迟风险,确保项目的每一个阶段都在可控范围内进行。


了解更多

  1. 数据传输服务(Data Transmission Service,简称DTS)支持关系型数据库、NoSQL、大数据(OLAP)等数据源,集数据迁移、订阅、实时同步、校验功能于一体,能够解决公共云、混合云场景下,远距离、秒级异步数据传输难题。其底层基础设施采用阿里双11异地多活架构,为数千下游应用提供实时数据流,已在线上稳定运行7年之久,是一款沉淀了丰富实践经验的可靠产品。点击了解更多DTS相关信息
  2. 有关VPC数据通道的详情和使用限制,您可以参考 https://help.aliyun.com/zh/dts/user-guide/what-is-a-vpc-data-channel
  3. 目前VPC数据通道方案正在线上灰度中,欢迎线上试用:https://help.aliyun.com/zh/dts/user-guide/configure-a-vpc-data-channel-task
  4. 欢迎加入钉群讨论交流:

image.png

相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
阿里云专有网络VPC使用教程
专有网络VPC可以帮助您基于阿里云构建出一个隔离的网络环境,并可以自定义IP 地址范围、网段、路由表和网关等;此外,也可以通过专线/VPN/GRE等连接方式实现云上VPC与传统IDC的互联,构建混合云业务。 产品详情:https://www.aliyun.com/product/vpc
相关文章
|
3天前
|
运维 供应链 安全
阿里云先知安全沙龙(武汉站) - 网络空间安全中的红蓝对抗实践
网络空间安全中的红蓝对抗场景通过模拟真实的攻防演练,帮助国家关键基础设施单位提升安全水平。具体案例包括快递单位、航空公司、一线城市及智能汽车品牌等,在演练中发现潜在攻击路径,有效识别和防范风险,确保系统稳定运行。演练涵盖情报收集、无差别攻击、针对性打击、稳固据点、横向渗透和控制目标等关键步骤,全面提升防护能力。
|
5天前
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
|
13天前
|
SQL 关系型数据库 MySQL
阿里云DTS踩坑经验分享系列|DTS SelectDB链路最佳实践
大数据时代背景下,高效的数据流转与实时分析能力对于企业的竞争力至关重要。阿里云数据传输服务DTS与SelectDB联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL/PostgreSQL、RDS MySQL/PostgreSQL、PolarDB for MySQL/PostgreSQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
92 3
|
22天前
|
云安全 人工智能 安全
|
26天前
|
存储 数据采集 监控
阿里云DTS踩坑经验分享系列|SLS同步至ClickHouse集群
作为强大的日志服务引擎,SLS 积累了用户海量的数据。为了实现数据的自由流通,DTS 开发了以 SLS 为源的数据同步插件。目前,该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路,客户不仅能够利用 SLS 卓越的数据采集和处理能力,还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势,帮助企业显著提高数据查询速度,同时有效降低存储成本,从而在数据驱动决策和资源优化配置上取得更大成效。
123 9
|
8月前
|
弹性计算 监控 开发工具
【阿里云弹性计算】阿里云ECS的网络优化实践:VPC配置与网络性能提升
【5月更文挑战第29天】阿里云ECS通过虚拟私有云(VPC)提供高性能、安全的网络环境。VPC允许用户自定义IP地址、路由规则和安全组。配置包括:创建VPC和交换机,设定安全组,然后创建ECS实例并绑定。优化网络性能涉及规划网络拓扑、优化路由、启用网络加速功能(如ENI和EIP)及监控网络性能。示例代码展示了使用Python SDK创建VPC和交换机的过程。
439 3
|
5月前
|
敏捷开发 网络协议 测试技术
阿里云云效产品使用合集之在vpc网络里,如何升级agent
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
8月前
|
弹性计算 关系型数据库 数据库
【阿里云助力企业数字化转型:专有网络、ECS、RDS等一网打尽】
数字化转型已经成为企业发展的必然趋势,而阿里云作为我国领先的云计算服务提供商,为企业提供了一整套完善的云服务解决方案。本文将详细介绍阿里云的专有网络VPC、云服务器ECS、云数据RDS、云数据库Redis、Serverless容器集群ASK、微服务引擎MSE、云效以及云速搭CADT等产品,帮助企业轻松实现数字化转型。 正文:
212 3
|
存储 域名解析 弹性计算
阿里云VPC内网DNS日志正式接入SLS日志审计服务
内网DNS日志(Intranet DNS Log) 记录了指定阿里云uid下所有VPC网络内终端产生的DNS域名解析请求和应答,终端请求的这些域名既包含了配置在PrivateZone上的内网权威域名,也包含了外部公网域名。为了满足用户可以快速、简单实现多账号、多地域场景下内网DNS日志的采集、管理、中心化查询分析等需求,DNS与SLS联合开发,在SLS日志审计应用中发布一键开启内网DNS日志的功能。
阿里云VPC内网DNS日志正式接入SLS日志审计服务
|
弹性计算 负载均衡 容灾
《阿里云认证的解析与实战-云计算ACP认证》——云计算ACP训练营第5天——一、网络与VPC
《阿里云认证的解析与实战-云计算ACP认证》——云计算ACP训练营第5天——一、网络与VPC