DataWorks百问百答39:VPC网络下adb pg实例引擎如何绑定dataworks工作空间执行任务?

简介: VPC网络下adb pg实例引擎绑定dataworks工作空间任务执行执行指导

1.案例前提:adb for pg实例和dataworks在同region。(不在同region需要走高速通道或者配置vpn打通网络。)
以下是adb for pg数据源和独享调度资源组打通案例的操作流程(数据集成任务、数据源和dataworks独享数据集成资源组打通网络步骤基本一致)


步骤
①:查看已购买的adb for pg实例(或者新购adb for pg实例),例如:地域可用区为:杭州 可用区I
购买步骤:dataworks39-14.png
dataworks39-13.png

查看实例网络环境步骤举例:
点开adb for pg实例跳转到实例基本信息界面(如下两图),可以看到该实例的网络信息等概况dataworks39-12.png

dataworks39-11.png

②.创建杭州region的dataworks工作空间并购买独享调度资源组(已有工作空间并且已经购买过改地域的独享调度资源组的可以免去购买/开通步骤。如需执行数据集成任务需要购买数据集成独享资源组)并选择可用区为I(同可用区可以免去加自定义路由的步骤,简化了一个步骤。当然可以购买同地域不通可用区的资源组,若此则需要自定义添加一下路由打通不通可用区的网络)
dataworks39-10.png

③购买独享调度资源组后需要将资源组绑定索要使用的工作空间
dataworks39-9.png

dataworks39-8.png

④资源组绑定好工作空间后,打通和adb pg的网络。
在独享调度资源组界面新增绑定,绑定adb pg实例的网络信息(对应信息均可在adb pg实例界面查看到。未找到对应的vpc信息说明adb pg实例网络有问题或者不在同可用区/没有交换机需要创建交换机)
dataworks39-7.png

dataworks39-6.png

⑤绑定好专有网路信息后,需要将独享调度资源组的eip 和弹性网卡ip两处信息添加到adb pg白名单中。
dataworks39-5.png
dataworks39-4.png

⑥网络问题基本处理好了。然后在工作空间配置中添加绑定adb pg实例并选择刚刚添加的独享调度资源组进行连通性测试。adb pg引擎添加绑定好后,会默认有一个不可编辑的同名数据源。这是后就可以到数据开发界面在adb pg引擎下创建相应的节点进行任务配置了。
dataworks39-3.png

数据源形式如下:
dataworks39-2.png



配置任务:dataworks39-1.png

注:数据集成独享资源组的网络打通方式参见步骤:①②③④⑤

DataWorks百问百答历史记录 请点击这里查看>>

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
6月前
|
机器学习/深度学习 传感器 算法
【无人车路径跟踪】基于神经网络的数据驱动迭代学习控制(ILC)算法,用于具有未知模型和重复任务的非线性单输入单输出(SISO)离散时间系统的无人车的路径跟踪(Matlab代码实现)
【无人车路径跟踪】基于神经网络的数据驱动迭代学习控制(ILC)算法,用于具有未知模型和重复任务的非线性单输入单输出(SISO)离散时间系统的无人车的路径跟踪(Matlab代码实现)
435 2
|
监控 安全 Linux
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景,包括 ping(测试连通性)、traceroute(跟踪路由路径)、netstat(显示网络连接信息)、nmap(网络扫描)、ifconfig 和 ip(网络接口配置)。掌握这些命令有助于高效诊断和解决网络问题,保障网络稳定运行。
579 2
|
数据采集 DataWorks 安全
DataWorks产品使用合集之怎么删除或更新已发布部署的文件实例
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
246 34
|
人工智能 搜索推荐 决策智能
不靠更复杂的策略,仅凭和大模型训练对齐,零样本零经验单LLM调用,成为网络任务智能体新SOTA
近期研究通过调整网络智能体的观察和动作空间,使其与大型语言模型(LLM)的能力对齐,显著提升了基于LLM的网络智能体性能。AgentOccam智能体在WebArena基准上超越了先前方法,成功率提升26.6个点(+161%)。该研究强调了与LLM训练目标一致的重要性,为网络任务自动化提供了新思路,但也指出其性能受限于LLM能力及任务复杂度。论文链接:https://arxiv.org/abs/2410.13825。
286 12
|
机器学习/深度学习 存储 自然语言处理
从理论到实践:如何使用长短期记忆网络(LSTM)改善自然语言处理任务
【10月更文挑战第7天】随着深度学习技术的发展,循环神经网络(RNNs)及其变体,特别是长短期记忆网络(LSTMs),已经成为处理序列数据的强大工具。在自然语言处理(NLP)领域,LSTM因其能够捕捉文本中的长期依赖关系而变得尤为重要。本文将介绍LSTM的基本原理,并通过具体的代码示例来展示如何在实际的NLP任务中应用LSTM。
1390 4
|
机器学习/深度学习 数据采集 算法
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
这篇博客文章介绍了如何使用包含多个网络和多种训练策略的框架来完成多目标分类任务,涵盖了从数据准备到训练、测试和部署的完整流程,并提供了相关代码和配置文件。
609 0
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
|
DataWorks 关系型数据库 MySQL
DataWorks产品使用合集之RDS和ADB的区别是什么
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
721 2
|
SQL DataWorks 安全
DataWorks产品使用合集之调度资源组与集成资源内部的实例如何进行共用
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
226 1
|
DataWorks 安全 定位技术
DataWorks产品使用合集之怎么批量获取数据地图的实例id
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
187 1
|
SQL 存储 JSON
DataWorks产品使用合集之没有dev环境的project,如何创建数据集成任务时完成网络与资源配置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

相关产品

  • 大数据开发治理平台 DataWorks