DataWorks百问百答39:VPC网络下adb pg实例引擎如何绑定dataworks工作空间执行任务?

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
简介: VPC网络下adb pg实例引擎绑定dataworks工作空间任务执行执行指导

1.案例前提:adb for pg实例和dataworks在同region。(不在同region需要走高速通道或者配置vpn打通网络。)
以下是adb for pg数据源和独享调度资源组打通案例的操作流程(数据集成任务、数据源和dataworks独享数据集成资源组打通网络步骤基本一致)


步骤
①:查看已购买的adb for pg实例(或者新购adb for pg实例),例如:地域可用区为:杭州 可用区I
购买步骤:dataworks39-14.png
dataworks39-13.png

查看实例网络环境步骤举例:
点开adb for pg实例跳转到实例基本信息界面(如下两图),可以看到该实例的网络信息等概况dataworks39-12.png

dataworks39-11.png

②.创建杭州region的dataworks工作空间并购买独享调度资源组(已有工作空间并且已经购买过改地域的独享调度资源组的可以免去购买/开通步骤。如需执行数据集成任务需要购买数据集成独享资源组)并选择可用区为I(同可用区可以免去加自定义路由的步骤,简化了一个步骤。当然可以购买同地域不通可用区的资源组,若此则需要自定义添加一下路由打通不通可用区的网络)
dataworks39-10.png

③购买独享调度资源组后需要将资源组绑定索要使用的工作空间
dataworks39-9.png

dataworks39-8.png

④资源组绑定好工作空间后,打通和adb pg的网络。
在独享调度资源组界面新增绑定,绑定adb pg实例的网络信息(对应信息均可在adb pg实例界面查看到。未找到对应的vpc信息说明adb pg实例网络有问题或者不在同可用区/没有交换机需要创建交换机)
dataworks39-7.png

dataworks39-6.png

⑤绑定好专有网路信息后,需要将独享调度资源组的eip 和弹性网卡ip两处信息添加到adb pg白名单中。
dataworks39-5.png
dataworks39-4.png

⑥网络问题基本处理好了。然后在工作空间配置中添加绑定adb pg实例并选择刚刚添加的独享调度资源组进行连通性测试。adb pg引擎添加绑定好后,会默认有一个不可编辑的同名数据源。这是后就可以到数据开发界面在adb pg引擎下创建相应的节点进行任务配置了。
dataworks39-3.png

数据源形式如下:
dataworks39-2.png



配置任务:dataworks39-1.png

注:数据集成独享资源组的网络打通方式参见步骤:①②③④⑤

DataWorks百问百答历史记录 请点击这里查看>>

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
3天前
|
监控 安全 Linux
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景,包括 ping(测试连通性)、traceroute(跟踪路由路径)、netstat(显示网络连接信息)、nmap(网络扫描)、ifconfig 和 ip(网络接口配置)。掌握这些命令有助于高效诊断和解决网络问题,保障网络稳定运行。
16 2
|
1月前
|
机器学习/深度学习 存储 自然语言处理
从理论到实践:如何使用长短期记忆网络(LSTM)改善自然语言处理任务
【10月更文挑战第7天】随着深度学习技术的发展,循环神经网络(RNNs)及其变体,特别是长短期记忆网络(LSTMs),已经成为处理序列数据的强大工具。在自然语言处理(NLP)领域,LSTM因其能够捕捉文本中的长期依赖关系而变得尤为重要。本文将介绍LSTM的基本原理,并通过具体的代码示例来展示如何在实际的NLP任务中应用LSTM。
67 4
|
1月前
|
机器学习/深度学习 数据采集 算法
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
这篇博客文章介绍了如何使用包含多个网络和多种训练策略的框架来完成多目标分类任务,涵盖了从数据准备到训练、测试和部署的完整流程,并提供了相关代码和配置文件。
46 0
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
|
2月前
|
SQL 机器学习/深度学习 分布式计算
dataworks节点任务
在DataWorks中,你可以通过拖拽节点以及连线来构建复杂的工作流,这样可以方便地管理多个任务之间的依赖关系。此外,DataWorks还提供了调度功能,使得这些任务可以在设定的时间自动执行。这对于构建自动化、定时的数据处理管道非常有用。
60 5
|
3月前
|
分布式计算 运维 DataWorks
DataWorks产品使用合集之如何实现任务的批量导入和导出
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
SQL DataWorks 安全
DataWorks产品使用合集之怎么跨项目移动sql任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
DataWorks Kubernetes 大数据
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
|
3月前
|
SQL DataWorks 安全
DataWorks产品使用合集之如何实现分钟级调度
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
运维 DataWorks 监控
DataWorks产品使用合集之如何自定义UDTF
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
分布式计算 DataWorks API
DataWorks产品使用合集之如何设置把结果传入变量
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks