DataWorks熟能生巧系列直播第四期:DataWorks数据集成独享资源组与VPC数据源网络打通

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 本文主要介绍了DataWorks相关资源组的概念,包括分类、区别和使用场景等,并实操演示了如何打通数据集成独享资源组与VPC数据源网络

本篇文章主要介绍了DataWorks相关资源组的概念,包括分类、区别和使用场景等,并实操演示了如何打通数据集成独享资源组与VPC数据源网络。

分享人:DataWorks技术支持团队


我们在开发者社区学习路线里有发布一个DataWorks的学习路线,里面包含了入门讲解和熟能生巧系列的直播内容,大家可以去学习一下,需要主账号登陆学习哦:https://developer.aliyun.com/learning/course/81

本期视频地址:https://developer.aliyun.com/learning/course/81/detail/1241



一、资源组相关概念介绍


什么是资源组? -  资源组是任务分发、执行的服务器。

DataWorks资源组分为公共资源组、独享资源组、自定义资源组。

  • 公共资源组为用户共享的机器,高峰期可能出现任务等待机器资源而暂时无法运行的情况,运行任务时按量付费。
  • 独享资源组需要用户自行购买,包年包月形式售卖,购买后可分配到用户自己的工作空间独享使用,由DataWorks团队负责维护。
  • 自定义资源组为用户自建的机器,通过安装dataworks所提供的服务插件来获得调度或者数据集成运行的能力,是由用户自己维护。


image.png


资源组的区别和使用场景如下:

image.png

任务执行时如果资源不足,任务会等待资源:

①调度资源组和数据集成资源组这两种资源组等待资源的具体表现形式不同。如果调度资源组资源不足,那么任务日志中会打印“任务并发执行数已达上限,正在等待云端的gateway资源”


②数据集成资源组不足的情况下,数据集成的任务实际不会分配到资源来运行,所以数据集成日志中会长时间地打印wait日志信息。

image.png

如果是使用公共资源组出现等待资源,可以考虑购买独享资源组。如果是独享资源组资源不够,可以考虑扩容或者购买新的独享资源组。注意独享资源组仅在绑定的工作空间内使用,如果是多个工作空间,建议分开购买独享资源组。合理规划使用独享资源组,可以保障任务按时执行和产出。


独享资源组的购买可以在DataWorks管控台的资源组列表中直接进行,

也可以通过如下购买链接直接购买:https://common-buy.aliyun.com/?commodityCode=dide_resource_pre&request=%7B%22ord_time%22:%221:Month%22,%22order_num%22:1,%22region%22:%22cn-shenzhen%22,%22dide_ex_pre_type%22:%22dide_ex_alisa%22,%22dide_ex_alisa_spec%22:%228c16g%22,%22expand_num%22:2%7D


购买时请谨慎确认地域、资源组类型和资源组规格等信息:

image.png

购买之后即可在对应工作空间进行绑定,绑定完成后该空间即可使用独享资源组:image.png



在不同的数据集成任务场景中,数据源所在网络环境比较复杂,需要通过一系列操作打通独享数据集成资源组和数据源的网络链接,下面的链接具体讲解了各种场景。当然,目前DataWorks提供了数据源网络连通性工具来帮助大家连通数据源,降低连通操作的复杂度。



本次主要以RDS-MySQL为例,讲解如何在VPC环境下和独享数据集成资源组打通网络,主要分为以下6个步骤:

  • 购买阿里云数据库服务(以rds-mysql为例)
  • 购买同地域同可用区(可用区可不一致)的数据集成独享资源组
  • 数据集成独享资源组绑定dataworks工作空间
  • 数据集成独享资源组修改专有网络绑定(添加rds实例的vpc信息。不同可用区需要添加路由)
  • 将数据集成独享资源组的eip和弹性网卡ip添加到rds实例的白名单中
  • 创建数据集成数据源并正常测试独享数据集成资源组的连通性


文档指导操作链接:https://developer.aliyun.com/article/766753

image.png


二、实操演示部分

① 首先到RDS管控台,根据我们的需要购买相应的实例。

创建好RDS-MySQL实例之后,可以查看它的基本信息,比如地域可用区、内网地址等。

image.png


随后再看下数据库连接,这里有一个网络类型,表示的是这个实例所在的VPC,而VSwitch表示的是RDS实例所在的VPC下的某个交换机信息(重要)。

image.png


② 购买RDS实例之后,再到DataWorks管控台购买独享数据集成资源组(用作同步任务,若是用做调度任务,需购买独享调度资源组),创建名字和备注。

image.png


这里选独享数据集成资源组并根据需求购买规格,比如4vCPU  8GiB最多支持的离线任务并发数是8,表示的是该资源组上支持的同一时间运行的任务的总的并发数是8。


③ 现在这个独享资源组还无法和对应的RDS实例连通。首先要先改一下归属空间,这是为了让这个独享资源组在对应的工作空间下可以选中并且使用。

image.png

image.png


④随后开始网络打通。首先点开专有网络绑定,点击新增绑定,选择刚才RDS的专有网络,这里交换机和安全组选择默认的即可,如果当前的资源组所在的可用区下没有交换机也可以自己创建。

image.png

image.png

image.png

注意:这里“专有网络”要选定RDS-MySQL实例控制台的VPC,就是刚才RDS控制台“数据库连接”里看到的实例VPC,另外还有一个VSwitch是交换机号码,这里配置交换机的时候如果找不到RDS实例的VSwitch(RDS交换机和资源组在不同可用区会找不到,但没关系,后面配置路由连接交换机即可,配置好VPC就行),可以先任意选一个或者新建一个(点击“创建交换机”),安全组选默认的就行,。

这就完成了第一步绑定,但由于它们的交换机不一样,所以现在还无法连通。


image.png

⑤ (在资源组绑定的交换机和rds实例真实的交换机不一致的情况下)需要通过路由规则来将同一个VPC下的不同交换机的网络进行连通。点击“自定义路由”来新增路由,目的类型选择VPC,目的VPC和目的Switch实例选择RDS-MySQL实例(这里应该就能找到VSwitch号码了)的地址。

image.png

添加成功后会有顶部弹出条提示成功


⑥ 生成路由成功之后,需要将交换机网段以及弹性网卡IP加入到RDS实例的白名单内。

image.png

image.png


⑦ 添加白名单之后,这个网络就连通了。连通后进入DataWorks工作空间列表,找到刚才的工作空间,进入数据集成。再进入数据源管理界面,新建MySQL数据源,填入RDS-MySQL数据源的实例信息以及账号、数据库名等信息。

image.png


⑧ 然后我们就可以进行独享数据集成资源组的连通性测试。

image.png


如果使用连接串方式添加数据源,那配置选择会变多:

image.png

“网络连接类型”选择阿里云VPC的话,“JDBC URL”配置里RDS实例地址就使用内网地址,填写形式大概是 “内网地址:端口号/数据库名”

“网络连接类型”选择公网的话,“JDBC URL”配置里RDS实例地址就使用公网地址


以上就是本次“数据集成独享资源组与VPC数据源网络打通”讲解的全部内容,有问题需要解答的同学可以扫码加一下我们的钉钉大群,群里有直播回放可以观看,技术支持的同学们也会回答大家的问题。

感谢大家的关注!

DataWorks部门主群二维码.JPG



相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
1天前
|
SQL DataWorks 关系型数据库
DataWorks产品使用合集之如何进行不同网络环境下的网络连通
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
DataWorks 监控 NoSQL
DataWorks产品使用合集之网络连通性的作用是什么
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
SQL 存储 JSON
DataWorks产品使用合集之没有dev环境的project,如何创建数据集成任务时完成网络与资源配置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
弹性计算 监控 开发工具
【阿里云弹性计算】阿里云ECS的网络优化实践:VPC配置与网络性能提升
【5月更文挑战第29天】阿里云ECS通过虚拟私有云(VPC)提供高性能、安全的网络环境。VPC允许用户自定义IP地址、路由规则和安全组。配置包括:创建VPC和交换机,设定安全组,然后创建ECS实例并绑定。优化网络性能涉及规划网络拓扑、优化路由、启用网络加速功能(如ENI和EIP)及监控网络性能。示例代码展示了使用Python SDK创建VPC和交换机的过程。
339 3
|
1天前
|
敏捷开发 网络协议 测试技术
阿里云云效产品使用合集之在vpc网络里,如何升级agent
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
3月前
|
弹性计算 关系型数据库 数据库
【阿里云助力企业数字化转型:专有网络、ECS、RDS等一网打尽】
数字化转型已经成为企业发展的必然趋势,而阿里云作为我国领先的云计算服务提供商,为企业提供了一整套完善的云服务解决方案。本文将详细介绍阿里云的专有网络VPC、云服务器ECS、云数据RDS、云数据库Redis、Serverless容器集群ASK、微服务引擎MSE、云效以及云速搭CADT等产品,帮助企业轻松实现数字化转型。 正文:
159 3
|
存储 域名解析 弹性计算
阿里云VPC内网DNS日志正式接入SLS日志审计服务
内网DNS日志(Intranet DNS Log) 记录了指定阿里云uid下所有VPC网络内终端产生的DNS域名解析请求和应答,终端请求的这些域名既包含了配置在PrivateZone上的内网权威域名,也包含了外部公网域名。为了满足用户可以快速、简单实现多账号、多地域场景下内网DNS日志的采集、管理、中心化查询分析等需求,DNS与SLS联合开发,在SLS日志审计应用中发布一键开启内网DNS日志的功能。
阿里云VPC内网DNS日志正式接入SLS日志审计服务
|
弹性计算 负载均衡 容灾
《阿里云认证的解析与实战-云计算ACP认证》——云计算ACP训练营第5天——一、网络与VPC
《阿里云认证的解析与实战-云计算ACP认证》——云计算ACP训练营第5天——一、网络与VPC
|
网络安全
《阿里云产品手册2022-2023 版》——专有网络 VPC
《阿里云产品手册2022-2023 版》——专有网络 VPC
261 0
|
网络安全
阿里云服务器默认交换机和默认专有网络说明
阿里云默认专有网络和默认交换机是什么?专有网络VPC是阿里云为用户提供的云上私有网络,系统会为每个用户自动创建默认专有网络和默认交换机,如果对于专有网络规划没有特殊要求的用户,选择默认即可,也可以自定义设置专有网络和交换机,创建专有网络可以指定IPv4网段、交换机网段等配置。
293 0
阿里云服务器默认交换机和默认专有网络说明

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks