带你读《全链路数据治理-全域数据集成》之19:5. 场景(下)

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 带你读《全链路数据治理-全域数据集成》之19:5. 场景(下)

《全链路数据治理-全域数据集成》——三、数据同步网络连通实践——. 场景(上) :https://developer.aliyun.com/article/1223037



场景四:通过 VPC(内网)同步数据库数据,且数据库与 DataWorks工作空间使用不同阿里云主账号


1) 网络连通方案

image.png

2) 网络连通方案架构图

image.png

3) 网络连通配置操作指导


l 为独享数据集成资源组绑定一个 VPC。

Ø 在 DataWorks 所在地域新建一个 VPC。

Ø 为独享数据集成资源组绑定上述创建的 VPC。


l 配置数据源和资源组的网络连通。

Ø 使用云企业网或 VPN 连通两个 VPC。

Ø 在控制台添加路由,连接至目标 VPC,详情可参见添加路由


以阿里云 RDS 数据库为例,配置操作如下所示:

image.png

其中,获取 RDS 的专有网络信息,详情请参见切换专有网络 VPC 和虚拟交换机


场景五:数据库不在阿里云,在 IDC 或其他厂商

1) 网络连通方案

image.png

2) 网络连通方案架构图

image.png

3) 网络连通配置操作指导


l 为独享数据集成资源组绑定一个 VPC。

Ø 在 DataWorks 所在地域新建一个 VPC。

Ø 为独享数据集成资源组绑定上述创建的 VPC。


l 配置数据源和资源组的网络连通。

Ø 使用云企业网或 VPN 连通资源组 VPC 和 IDC 网络。

Ø 在数据源 VPC 控制台添加路由,连接至目标 IDC,详情可参见添加路由


l 使用经典网络不支持网络连通。

说明阿里云经典网络已不推荐使用,建议您迁移数据源至 VPC。

相关文章
|
2月前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
5月前
|
SQL 分布式计算 Oracle
数据同步工具DataX的安装
数据同步工具DataX的安装
450 0
|
5月前
|
存储 关系型数据库 MySQL
DataX: 阿里开源的又一款高效数据同步工具
DataX 是由阿里巴巴集团开源的一款大数据同步工具,旨在解决不同数据存储之间的数据迁移、同步和实时交换的问题。它支持多种数据源和数据存储系统,包括关系型数据库、NoSQL 数据库、Hadoop 等。 DataX 提供了丰富的数据读写插件,可以轻松地将数据从一个数据源抽取出来,并将其加载到另一个数据存储中。它还提供了灵活的配置选项和高度可扩展的架构,以适应各种复杂的数据同步需求。
|
2月前
|
存储 测试技术 C++
P2P网络下分布式文件共享场景的测试
P2P网络下分布式文件共享场景的测试
35 6
|
2月前
|
分布式计算 DataWorks Java
DataWorks常见问题之数据集成导出分区表的全量数据如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
39 0
|
3月前
|
机器学习/深度学习 数据采集 监控
基于yolov2深度学习网络的车辆检测算法matlab仿真,包括白天场景和夜晚场景
基于yolov2深度学习网络的车辆检测算法matlab仿真,包括白天场景和夜晚场景
|
3月前
|
移动开发 小程序 数据管理
9月开发者日回顾|小程序跳转接口等多个JSAPI更新,能力集成提供场景化排查工具
9月开发者日回顾|小程序跳转接口等多个JSAPI更新,能力集成提供场景化排查工具
28 0
|
3月前
|
机器学习/深度学习 人工智能 监控
SAP Sales Cloud,Service Cloud 和 SAP BTP 平台上的 AI 集成场景
SAP Sales Cloud,Service Cloud 和 SAP BTP 平台上的 AI 集成场景
67 0
|
4月前
|
SQL 关系型数据库 MySQL
Apache Flink 和 Paimon 在自如数据集成场景中的使用
Apache Flink 和 Paimon 在自如数据集成场景中的使用
314 0
|
4月前
|
DataX
datax数据推送,汉字乱码
datax数据推送,汉字乱码.
167 1

热门文章

最新文章

  • 1
    DataWorks操作报错合集之DataWorksUDF 报错:evaluate for user defined function xxx cannot be loaded from any resources,该怎么处理
    17
  • 2
    DataWorks操作报错合集之DataWorks任务异常 报错: GET_GROUP_SLOT_EXCEPTION 该怎么处理
    11
  • 3
    DataWorks操作报错合集之在DataWorks中,任务流在调度时间到达时停止运行,是什么原因导致的
    14
  • 4
    DataWorks操作报错合集之DataWorks ODPS数据同步后,timesramp遇到时区问题,解决方法是什么
    12
  • 5
    DataWorks操作报错合集之DataWorks配置参数在开发环境进行调度,参数解析不出来,收到了 "Table does not exist" 的错误,该怎么处理
    11
  • 6
    DataWorks操作报错合集之DataWorks中udf开发完后,本地和在MaxCompute的工作区可以执行函数查询,但是在datawork里报错FAILED: ODPS-0130071:[2,5],是什么原因
    11
  • 7
    DataWorks操作报错合集之DataWorks提交失败: 提交节点的源码内容到TSP(代码库)失败:"skynet_packageid is null,该怎么解决
    10
  • 8
    DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面,也添加了RDS的IP白名单报错:数据源配置有误,请检查,该怎么处理
    8
  • 9
    DataWorks操作报错合集之DataWorks在同步mysql时报错Code:[Framework-02],mysql里面有个json类型字段,是什么原因导致的
    11
  • 10
    DataWorks操作报错合集之在 DataWorks 中运行了一个 Hologres 表的任务并完成了执行,但是在 Hologres 表中没有看到数据,该怎么解决
    9