DataWorks百问百答39:VPC网络下adb pg实例引擎如何绑定dataworks工作空间执行任务?

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: VPC网络下adb pg实例引擎绑定dataworks工作空间任务执行执行指导

1.案例前提:adb for pg实例和dataworks在同region。(不在同region需要走高速通道或者配置vpn打通网络。)
以下是adb for pg数据源和独享调度资源组打通案例的操作流程(数据集成任务、数据源和dataworks独享数据集成资源组打通网络步骤基本一致)


步骤
①:查看已购买的adb for pg实例(或者新购adb for pg实例),例如:地域可用区为:杭州 可用区I
购买步骤:dataworks39-14.png
dataworks39-13.png

查看实例网络环境步骤举例:
点开adb for pg实例跳转到实例基本信息界面(如下两图),可以看到该实例的网络信息等概况dataworks39-12.png

dataworks39-11.png

②.创建杭州region的dataworks工作空间并购买独享调度资源组(已有工作空间并且已经购买过改地域的独享调度资源组的可以免去购买/开通步骤。如需执行数据集成任务需要购买数据集成独享资源组)并选择可用区为I(同可用区可以免去加自定义路由的步骤,简化了一个步骤。当然可以购买同地域不通可用区的资源组,若此则需要自定义添加一下路由打通不通可用区的网络)
dataworks39-10.png

③购买独享调度资源组后需要将资源组绑定索要使用的工作空间
dataworks39-9.png

dataworks39-8.png

④资源组绑定好工作空间后,打通和adb pg的网络。
在独享调度资源组界面新增绑定,绑定adb pg实例的网络信息(对应信息均可在adb pg实例界面查看到。未找到对应的vpc信息说明adb pg实例网络有问题或者不在同可用区/没有交换机需要创建交换机)
dataworks39-7.png

dataworks39-6.png

⑤绑定好专有网路信息后,需要将独享调度资源组的eip 和弹性网卡ip两处信息添加到adb pg白名单中。
dataworks39-5.png
dataworks39-4.png

⑥网络问题基本处理好了。然后在工作空间配置中添加绑定adb pg实例并选择刚刚添加的独享调度资源组进行连通性测试。adb pg引擎添加绑定好后,会默认有一个不可编辑的同名数据源。这是后就可以到数据开发界面在adb pg引擎下创建相应的节点进行任务配置了。
dataworks39-3.png

数据源形式如下:
dataworks39-2.png



配置任务:dataworks39-1.png

注:数据集成独享资源组的网络打通方式参见步骤:①②③④⑤

DataWorks百问百答历史记录 请点击这里查看>>

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
8月前
|
DataWorks
DataWorks任务如何现在执行最长时间?
设置任务执行最长时间
154 28
|
6月前
|
弹性计算 运维 负载均衡
课时3:阿里云专有网络VPC:让网络更加独立
阿里云专有网络VPC提供独立、安全的云上网络环境,支持自定义IP地址网段和灵活的路由配置。通过高速通道实现优质网络链路,可用性达99.95%,满足企业高要求的数据传输需求。VPC结合弹性公网IP、负载均衡SLB、Net网关等功能,帮助企业轻松管理网络资源,降低运维成本,实现高效、安全的混合云架构部署。
155 0
|
8月前
|
SQL 分布式计算 DataWorks
如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?
如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?创建一个表的空分区,然后通过DataWorks去检查这个分区。
175 7
|
10月前
|
弹性计算 安全 容灾
阿里云DTS踩坑经验分享系列|使用VPC数据通道解决网络冲突问题
阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。本文介绍如何使用VPC数据通道解决网络冲突问题。
381 0
|
SQL 机器学习/深度学习 分布式计算
dataworks节点任务
在DataWorks中,你可以通过拖拽节点以及连线来构建复杂的工作流,这样可以方便地管理多个任务之间的依赖关系。此外,DataWorks还提供了调度功能,使得这些任务可以在设定的时间自动执行。这对于构建自动化、定时的数据处理管道非常有用。
241 5
|
分布式计算 运维 DataWorks
DataWorks产品使用合集之如何实现任务的批量导入和导出
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
8月前
|
DataWorks 监控 数据建模
DataWorks产品体验评测
DataWorks产品体验评测
|
8月前
|
分布式计算 DataWorks 搜索推荐
DataWorks 产品评测与最佳实践探索!
DataWorks 是阿里巴巴推出的一站式智能大数据开发治理平台,内置15年实践经验,集成多种大数据与AI服务。本文通过实际使用角度,探讨其优势、潜力及改进建议。评测涵盖用户画像分析、数据治理、功能表现等方面,适合数字化转型企业参考。
179 1
|
9月前
|
数据采集 人工智能 DataWorks
DataWorks产品最佳实践测评
DataWorks产品最佳实践测评
|
8月前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
358 1

相关产品

  • 大数据开发治理平台 DataWorks