跨私网传输用法解析-阿里云开发者社区

开发者社区> 数据库> 正文

跨私网传输用法解析

简介: 数加集成(Data Integration)是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(包括关系型数据库、MPP数据库、大数据存储、非结构化存储、NoSql数据库等)提供互通的跨网络离线(批量)的数据进出通道。

数加 · 数据集成:产品地址


数据集成提供复杂网络环境下的穿墙过壁能力,主要通过数据集成Agent的部署,打通任意网络环境之间的数据传输同步。具体见下文所述。

数据的来源端和目的端有一端为私网环境

针对数据的来源端和目的端有一端为私网环境的情况,采用在私网环境的那一端相同网络环境下的机器上部署数据集成Agent,通过数据集成Agent与外部公网联通。私网环境一般有一下几种情况:


购买云服务 ECS 上搭建的数据库,没有分配公网 IP或弹性公网 IP:


  • VPC环境(除RDS)——>公网环境
  • 公网环境——>VPC环境(除RDS)

购买与VPC环境同网段的云服务ECS,部署数据集成Agent,并保证网络互通


  • 金融云环境——>公网环境
  • 公网环境——>金融云环境

购买与金融云环境同网段的云服务ECS,部署数据集成Agent,并保证网络互通


云服务 ECS

此场景下的数据同步方式,如下图所示:

111

“ECS2”没有访问公网的能力,所以需要准备一台跟“ECS2” 在同一网段并且有访问公网能力的“ECS1”机器上部署数据集成Agent。将“ECS1”作为资源组并且同步任务运行在此机器上。


注意:要给数据库赋权限,让 ECS2 服务器能访问到相应的数据库,这样才能将此数据库的数据读取到 ECS1 中,授权命令如下所示:grant all privileges on . to ‘demo_test’@’%’ identified by ‘密码’; —> %号代表给所有 IP 授权


本地 IDC 机房无公网 IP:

  • 本地IDC环境——>公网环境
  • 公网环境——>本地IDC环境

在本地准备一台与本地机器同网段、可以访问公网的服务器,部署数据集成Agent,并保证网络互通


无公网IP本地IDC机房

此场景下的操作流程,如下图所示:

222

“机器1”没有访问公网的能力,所以需要准备一台跟“机器1”在同一网段并且具备访问公网能力的“机器2”部署数据集成Agent。将“机器2”作为调度资源组并且同步任务运行在此机器上。

数据的来源端和目的端有一端为私网环境操作步骤


数据的来源端和目的端均为私网环境


  • VPC环境(除RDS)<——>VPC环境(除RDS)

在两端均购买与VPC环境同网段的云服务ECS,部署数据集成Agent,并保证网络互通


  • 金融云环境<——>金融云环境

在两端均购买与金融云环境同网段的云服务ECS,部署数据集成Agent,并保证网络互通


  • 本地IDC环境<——>本地IDC环境

在本地两端各准备一台与本地机器同网段、可以访问公网的服务器,部署数据集成Agent,并保证网络互通


  • 本地IDC环境——>VPC环境(除RDS)
  • VPC环境(除RDS)——>本地IDC环境

购买与VPC环境同网段的云服务ECS,在本地环境准备一台与本地机器同网段、可以访问公网的服务器,两端均部署数据集成Agent,保证其网络互通


  • 本地IDC环境——>金融云环境
  • 金融云环境——>本地IDC环境

购买与金融云环境同网段的云服务ECS,在本地环境准备一台与本地机器同网段、可以访问公网的服务器,两端均部署数据集成Agent,保证其网络互通


针对数据源的来源端和目的端均为私网环境的情况,采用在两端的网络环境下均部署数据集成Agent,来源端数据集成Agent负责推送数据至数据集成服务端,目的端数据集成Agent负责拉取数据至本地;且数据在传输过程中会进行数据的分块、压缩、加密,既可以保证数据的安全性,还可以保证传输过程中遇到断网、断电等特殊情况下,数据的完整性。

此场景下的操作流程,如下图所示:

image


数据的来源端和目的端均为私网环境操作步骤

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

其他文章