跨私网传输用法解析

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
全局流量管理 GTM,标准版 1个月
简介: 数加集成(Data Integration)是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(包括关系型数据库、MPP数据库、大数据存储、非结构化存储、NoSql数据库等)提供互通的跨网络离线(批量)的数据进出通道。

数加 · 数据集成:产品地址


数据集成提供复杂网络环境下的穿墙过壁能力,主要通过数据集成Agent的部署,打通任意网络环境之间的数据传输同步。具体见下文所述。

数据的来源端和目的端有一端为私网环境

针对数据的来源端和目的端有一端为私网环境的情况,采用在私网环境的那一端相同网络环境下的机器上部署数据集成Agent,通过数据集成Agent与外部公网联通。私网环境一般有一下几种情况:


购买云服务 ECS 上搭建的数据库,没有分配公网 IP或弹性公网 IP:


  • VPC环境(除RDS)——>公网环境
  • 公网环境——>VPC环境(除RDS)

购买与VPC环境同网段的云服务ECS,部署数据集成Agent,并保证网络互通


  • 金融云环境——>公网环境
  • 公网环境——>金融云环境

购买与金融云环境同网段的云服务ECS,部署数据集成Agent,并保证网络互通


云服务 ECS

此场景下的数据同步方式,如下图所示:

111

“ECS2”没有访问公网的能力,所以需要准备一台跟“ECS2” 在同一网段并且有访问公网能力的“ECS1”机器上部署数据集成Agent。将“ECS1”作为资源组并且同步任务运行在此机器上。


注意:要给数据库赋权限,让 ECS2 服务器能访问到相应的数据库,这样才能将此数据库的数据读取到 ECS1 中,授权命令如下所示:grant all privileges on . to ‘demo_test’@’%’ identified by ‘密码’; —> %号代表给所有 IP 授权


本地 IDC 机房无公网 IP:

  • 本地IDC环境——>公网环境
  • 公网环境——>本地IDC环境

在本地准备一台与本地机器同网段、可以访问公网的服务器,部署数据集成Agent,并保证网络互通


无公网IP本地IDC机房

此场景下的操作流程,如下图所示:

222

“机器1”没有访问公网的能力,所以需要准备一台跟“机器1”在同一网段并且具备访问公网能力的“机器2”部署数据集成Agent。将“机器2”作为调度资源组并且同步任务运行在此机器上。


数据的来源端和目的端均为私网环境


  • VPC环境(除RDS)<——>VPC环境(除RDS)

在两端均购买与VPC环境同网段的云服务ECS,部署数据集成Agent,并保证网络互通


  • 金融云环境<——>金融云环境

在两端均购买与金融云环境同网段的云服务ECS,部署数据集成Agent,并保证网络互通


  • 本地IDC环境<——>本地IDC环境

在本地两端各准备一台与本地机器同网段、可以访问公网的服务器,部署数据集成Agent,并保证网络互通


  • 本地IDC环境——>VPC环境(除RDS)
  • VPC环境(除RDS)——>本地IDC环境

购买与VPC环境同网段的云服务ECS,在本地环境准备一台与本地机器同网段、可以访问公网的服务器,两端均部署数据集成Agent,保证其网络互通


  • 本地IDC环境——>金融云环境
  • 金融云环境——>本地IDC环境

购买与金融云环境同网段的云服务ECS,在本地环境准备一台与本地机器同网段、可以访问公网的服务器,两端均部署数据集成Agent,保证其网络互通


针对数据源的来源端和目的端均为私网环境的情况,采用在两端的网络环境下均部署数据集成Agent,来源端数据集成Agent负责推送数据至数据集成服务端,目的端数据集成Agent负责拉取数据至本地;且数据在传输过程中会进行数据的分块、压缩、加密,既可以保证数据的安全性,还可以保证传输过程中遇到断网、断电等特殊情况下,数据的完整性。

此场景下的操作流程,如下图所示:

image

相关文章
|
9天前
|
JSON Shell Linux
dockerfile 用法全解析
Dockerfile指令简介:`FROM`基于Alpine镜像;`WORKDIR`设置工作目录;`COPY`复制文件;`ADD`支持URL;`RUN`运行命令;`CMD`容器启动时执行;`ENTRYPOINT`与`CMD`组合执行;`EXPOSE`声明端口;`VOLUME`映射文件;`ENV`设置环境变量;`ARG`构建参数;`LABEL`元数据;`ONBUILD`触发命令;`STOPSIGNAL`停止信号;`HEALTHCHECK`健康检查;`SHELL`默认Shell。Alpine仅5M,小巧高效。
37 4
dockerfile 用法全解析
|
1月前
|
网络协议 网络安全 网络虚拟化
本文介绍了十个重要的网络技术术语,包括IP地址、子网掩码、域名系统(DNS)、防火墙、虚拟专用网络(VPN)、路由器、交换机、超文本传输协议(HTTP)、传输控制协议/网际协议(TCP/IP)和云计算
本文介绍了十个重要的网络技术术语,包括IP地址、子网掩码、域名系统(DNS)、防火墙、虚拟专用网络(VPN)、路由器、交换机、超文本传输协议(HTTP)、传输控制协议/网际协议(TCP/IP)和云计算。通过这些术语的详细解释,帮助读者更好地理解和应用网络技术,应对数字化时代的挑战和机遇。
106 3
|
1月前
|
Dart 安全 编译器
Flutter结合鸿蒙next 中数据类型转换的高级用法:dynamic 类型与其他类型的转换解析
在 Flutter 开发中,`dynamic` 类型提供了灵活性,但也带来了类型安全性问题。本文深入探讨 `dynamic` 类型及其与其他类型的转换,介绍如何使用 `as` 关键字、`is` 操作符和 `whereType&lt;T&gt;()` 方法进行类型转换,并提供最佳实践,包括避免过度使用 `dynamic`、使用 Null Safety 和异常处理,帮助开发者提高代码的可读性和可维护性。
87 1
|
2月前
|
数据处理 Python
Python在音频传输中的应用实例解析
Python在音频传输中的应用实例解析
36 1
|
3月前
|
安全 网络安全 开发工具
深入探索Git:全面解析Git的用法与最佳实践
深入探索Git:全面解析Git的用法与最佳实践
74 2
|
2月前
|
前端开发 JavaScript UED
axios取消请求CancelToken的原理解析及用法示例
axios取消请求CancelToken的原理解析及用法示例
161 0
|
2月前
|
JSON API 开发者
深入解析Python网络编程与Web开发:urllib、requests和http模块的功能、用法及在构建现代网络应用中的关键作用
深入解析Python网络编程与Web开发:urllib、requests和http模块的功能、用法及在构建现代网络应用中的关键作用
23 0
|
4月前
|
网络协议 安全 网络安全
DNS服务器加密传输
【8月更文挑战第18天】
398 15
|
4月前
|
Java Spring
🔥JSF 与 Spring 强强联手:打造高效、灵活的 Web 应用新标杆!💪 你还不知道吗?
【8月更文挑战第31天】JavaServer Faces(JSF)与 Spring 框架是常用的 Java Web 技术。本文介绍如何整合两者,发挥各自优势,构建高效灵活的 Web 应用。首先通过 `web.xml` 和 `ContextLoaderListener` 配置 Spring 上下文,在 `applicationContext.xml` 定义 Bean。接着使用 `@Autowired` 将 Spring 管理的 Bean 注入到 JSF 管理的 Bean 中。
74 0
|
4月前
|
JavaScript 前端开发 开发者
深入解析Angular装饰器:揭秘框架核心机制与应用——从基础用法到内部原理的全面教程
【8月更文挑战第31天】本文深入解析了Angular框架中的装饰器特性,包括其基本概念、使用方法及内部机制。装饰器作为TypeScript的关键特性,在Angular中用于定义组件、服务等。通过具体示例介绍了`@Component`和`@Injectable`装饰器的应用,展示了如何利用装饰器优化代码结构与依赖注入,帮助开发者构建高效、可维护的应用。
45 0

热门文章

最新文章

推荐镜像

更多