DataWorks熟能生巧系列直播第四期:DataWorks数据集成独享资源组与VPC数据源网络打通-阿里云开发者社区

开发者社区> DataWorks> 正文
登录阅读全文

DataWorks熟能生巧系列直播第四期:DataWorks数据集成独享资源组与VPC数据源网络打通

简介: 本文主要介绍了DataWorks相关资源组的概念,包括分类、区别和使用场景等,并实操演示了如何打通数据集成独享资源组与VPC数据源网络

本篇文章主要介绍了DataWorks相关资源组的概念,包括分类、区别和使用场景等,并实操演示了如何打通数据集成独享资源组与VPC数据源网络。

分享人:DataWorks技术支持团队


我们在开发者社区学习路线里有发布一个DataWorks的学习路线,里面包含了入门讲解和熟能生巧系列的直播内容,大家可以去学习一下,需要主账号登陆学习哦:https://developer.aliyun.com/learning/course/81

本期视频地址:https://developer.aliyun.com/learning/course/81/detail/1241



一、资源组相关概念介绍


什么是资源组? - 资源组是任务分发、执行的服务器。

DataWorks资源组分为公共资源组、独享资源组、自定义资源组。

  • 公共资源组为用户共享的机器,高峰期可能出现任务等待机器资源而暂时无法运行的情况,运行任务时按量付费。
  • 独享资源组需要用户自行购买,包年包月形式售卖,购买后可分配到用户自己的工作空间独享使用,由DataWorks团队负责维护。
  • 自定义资源组为用户自建的机器,通过安装dataworks所提供的服务插件来获得调度或者数据集成运行的能力,是由用户自己维护。


image.png


资源组的区别和使用场景如下:

image.png

任务执行时如果资源不足,任务会等待资源:

①调度资源组和数据集成资源组这两种资源组等待资源的具体表现形式不同。如果调度资源组资源不足,那么任务日志中会打印“任务并发执行数已达上限,正在等待云端的gateway资源”


②数据集成资源组不足的情况下,数据集成的任务实际不会分配到资源来运行,所以数据集成日志中会长时间地打印wait日志信息。

image.png

如果是使用公共资源组出现等待资源,可以考虑购买独享资源组。如果是独享资源组资源不够,可以考虑扩容或者购买新的独享资源组。注意独享资源组仅在绑定的工作空间内使用,如果是多个工作空间,建议分开购买独享资源组。合理规划使用独享资源组,可以保障任务按时执行和产出。


独享资源组的购买可以在DataWorks管控台的资源组列表中直接进行,

也可以通过如下购买链接直接购买:https://common-buy.aliyun.com/?commodityCode=dide_resource_pre&request=%7B%22ord_time%22:%221:Month%22,%22order_num%22:1,%22region%22:%22cn-shenzhen%22,%22dide_ex_pre_type%22:%22dide_ex_alisa%22,%22dide_ex_alisa_spec%22:%228c16g%22,%22expand_num%22:2%7D


购买时请谨慎确认地域、资源组类型和资源组规格等信息:

image.png

购买之后即可在对应工作空间进行绑定,绑定完成后该空间即可使用独享资源组:image.png



在不同的数据集成任务场景中,数据源所在网络环境比较复杂,需要通过一系列操作打通独享数据集成资源组和数据源的网络链接,下面的链接具体讲解了各种场景。当然,目前DataWorks提供了数据源网络连通性工具来帮助大家连通数据源,降低连通操作的复杂度。



本次主要以RDS-MySQL为例,讲解如何在VPC环境下和独享数据集成资源组打通网络,主要分为以下6个步骤:

  • 购买阿里云数据库服务(以rds-mysql为例)
  • 购买同地域同可用区(可用区可不一致)的数据集成独享资源组
  • 数据集成独享资源组绑定dataworks工作空间
  • 数据集成独享资源组修改专有网络绑定(添加rds实例的vpc信息。不同可用区需要添加路由)
  • 将数据集成独享资源组的eip和弹性网卡ip添加到rds实例的白名单中
  • 创建数据集成数据源并正常测试独享数据集成资源组的连通性


文档指导操作链接:https://developer.aliyun.com/article/766753

image.png


二、实操演示部分

① 首先到RDS管控台,根据我们的需要购买相应的实例。

创建好RDS-MySQL实例之后,可以查看它的基本信息,比如地域可用区、内网地址等。

image.png


随后再看下数据库连接,这里有一个网络类型,表示的是这个实例所在的VPC,而VSwitch表示的是RDS实例所在的VPC下的某个交换机信息(重要)。

image.png


② 购买RDS实例之后,再到DataWorks管控台购买独享数据集成资源组(用作同步任务,若是用做调度任务,需购买独享调度资源组),创建名字和备注。

image.png


这里选独享数据集成资源组并根据需求购买规格,比如4vCPU  8GiB最多支持的离线任务并发数是8,表示的是该资源组上支持的同一时间运行的任务的总的并发数是8。


③ 现在这个独享资源组还无法和对应的RDS实例连通。首先要先改一下归属空间,这是为了让这个独享资源组在对应的工作空间下可以选中并且使用。

image.png

image.png


④随后开始网络打通。首先点开专有网络绑定,点击新增绑定,选择刚才RDS的专有网络,这里交换机和安全组选择默认的即可,如果当前的资源组所在的可用区下没有交换机也可以自己创建。

image.png

image.png

image.png

注意:这里“专有网络”要选定RDS-MySQL实例控制台的VPC,就是刚才RDS控制台“数据库连接”里看到的实例VPC,另外还有一个VSwitch是交换机号码,这里配置交换机的时候如果找不到RDS实例的VSwitch(RDS交换机和资源组在不同可用区会找不到,但没关系,后面配置路由连接交换机即可,配置好VPC就行),可以先任意选一个或者新建一个(点击“创建交换机”),安全组选默认的就行,。

这就完成了第一步绑定,但由于它们的交换机不一样,所以现在还无法连通。


image.png

⑤ (在资源组绑定的交换机和rds实例真实的交换机不一致的情况下)需要通过路由规则来将同一个VPC下的不同交换机的网络进行连通。点击“自定义路由”来新增路由,目的类型选择VPC,目的VPC和目的Switch实例选择RDS-MySQL实例(这里应该就能找到VSwitch号码了)的地址。

image.png

添加成功后会有顶部弹出条提示成功


⑥ 生成路由成功之后,需要将交换机网段以及弹性网卡IP加入到RDS实例的白名单内。

image.png

image.png


⑦ 添加白名单之后,这个网络就连通了。连通后进入DataWorks工作空间列表,找到刚才的工作空间,进入数据集成。再进入数据源管理界面,新建MySQL数据源,填入RDS-MySQL数据源的实例信息以及账号、数据库名等信息。

image.png


⑧ 然后我们就可以进行独享数据集成资源组的连通性测试。

image.png


如果使用连接串方式添加数据源,那配置选择会变多:

image.png

“网络连接类型”选择阿里云VPC的话,“JDBC URL”配置里RDS实例地址就使用内网地址,填写形式大概是 “内网地址:端口号/数据库名”

“网络连接类型”选择公网的话,“JDBC URL”配置里RDS实例地址就使用公网地址


以上就是本次“数据集成独享资源组与VPC数据源网络打通”讲解的全部内容,有问题需要解答的同学可以扫码加一下我们的钉钉大群,群里有直播回放可以观看,技术支持的同学们也会回答大家的问题。

感谢大家的关注!

DataWorks部门主群二维码.JPG



版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
DataWorks
使用钉钉扫一扫加入圈子
+ 订阅

DataWorks作为飞天大数据平台操作系统,对接各种大数据计算引擎,以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台,高效率完成数据全链路研发流程,建设企业数据治理体系。 从2009年飞天大数据平台写下第一行代码开始,DataWorks历经10年发展,形成一套成熟的产品功能体系,满足企业数据中台搭建需求。

官方博客
最新文章
相关文章
DataWorks产品官网