DataWorks熟能生巧系列直播第四期:DataWorks数据集成独享资源组与VPC数据源网络打通

简介: 本文主要介绍了DataWorks相关资源组的概念,包括分类、区别和使用场景等,并实操演示了如何打通数据集成独享资源组与VPC数据源网络

本篇文章主要介绍了DataWorks相关资源组的概念,包括分类、区别和使用场景等,并实操演示了如何打通数据集成独享资源组与VPC数据源网络。

分享人:DataWorks技术支持团队


我们在开发者社区学习路线里有发布一个DataWorks的学习路线,里面包含了入门讲解和熟能生巧系列的直播内容,大家可以去学习一下,需要主账号登陆学习哦:https://developer.aliyun.com/learning/course/81

本期视频地址:https://developer.aliyun.com/learning/course/81/detail/1241



一、资源组相关概念介绍


什么是资源组? -  资源组是任务分发、执行的服务器。

DataWorks资源组分为公共资源组、独享资源组、自定义资源组。

  • 公共资源组为用户共享的机器,高峰期可能出现任务等待机器资源而暂时无法运行的情况,运行任务时按量付费。
  • 独享资源组需要用户自行购买,包年包月形式售卖,购买后可分配到用户自己的工作空间独享使用,由DataWorks团队负责维护。
  • 自定义资源组为用户自建的机器,通过安装dataworks所提供的服务插件来获得调度或者数据集成运行的能力,是由用户自己维护。


image.png


资源组的区别和使用场景如下:

image.png

任务执行时如果资源不足,任务会等待资源:

①调度资源组和数据集成资源组这两种资源组等待资源的具体表现形式不同。如果调度资源组资源不足,那么任务日志中会打印“任务并发执行数已达上限,正在等待云端的gateway资源”


②数据集成资源组不足的情况下,数据集成的任务实际不会分配到资源来运行,所以数据集成日志中会长时间地打印wait日志信息。

image.png

如果是使用公共资源组出现等待资源,可以考虑购买独享资源组。如果是独享资源组资源不够,可以考虑扩容或者购买新的独享资源组。注意独享资源组仅在绑定的工作空间内使用,如果是多个工作空间,建议分开购买独享资源组。合理规划使用独享资源组,可以保障任务按时执行和产出。


独享资源组的购买可以在DataWorks管控台的资源组列表中直接进行,

也可以通过如下购买链接直接购买:https://common-buy.aliyun.com/?commodityCode=dide_resource_pre&request=%7B%22ord_time%22:%221:Month%22,%22order_num%22:1,%22region%22:%22cn-shenzhen%22,%22dide_ex_pre_type%22:%22dide_ex_alisa%22,%22dide_ex_alisa_spec%22:%228c16g%22,%22expand_num%22:2%7D


购买时请谨慎确认地域、资源组类型和资源组规格等信息:

image.png

购买之后即可在对应工作空间进行绑定,绑定完成后该空间即可使用独享资源组:image.png



在不同的数据集成任务场景中,数据源所在网络环境比较复杂,需要通过一系列操作打通独享数据集成资源组和数据源的网络链接,下面的链接具体讲解了各种场景。当然,目前DataWorks提供了数据源网络连通性工具来帮助大家连通数据源,降低连通操作的复杂度。



本次主要以RDS-MySQL为例,讲解如何在VPC环境下和独享数据集成资源组打通网络,主要分为以下6个步骤:

  • 购买阿里云数据库服务(以rds-mysql为例)
  • 购买同地域同可用区(可用区可不一致)的数据集成独享资源组
  • 数据集成独享资源组绑定dataworks工作空间
  • 数据集成独享资源组修改专有网络绑定(添加rds实例的vpc信息。不同可用区需要添加路由)
  • 将数据集成独享资源组的eip和弹性网卡ip添加到rds实例的白名单中
  • 创建数据集成数据源并正常测试独享数据集成资源组的连通性


文档指导操作链接:https://developer.aliyun.com/article/766753

image.png


二、实操演示部分

① 首先到RDS管控台,根据我们的需要购买相应的实例。

创建好RDS-MySQL实例之后,可以查看它的基本信息,比如地域可用区、内网地址等。

image.png


随后再看下数据库连接,这里有一个网络类型,表示的是这个实例所在的VPC,而VSwitch表示的是RDS实例所在的VPC下的某个交换机信息(重要)。

image.png


② 购买RDS实例之后,再到DataWorks管控台购买独享数据集成资源组(用作同步任务,若是用做调度任务,需购买独享调度资源组),创建名字和备注。

image.png


这里选独享数据集成资源组并根据需求购买规格,比如4vCPU  8GiB最多支持的离线任务并发数是8,表示的是该资源组上支持的同一时间运行的任务的总的并发数是8。


③ 现在这个独享资源组还无法和对应的RDS实例连通。首先要先改一下归属空间,这是为了让这个独享资源组在对应的工作空间下可以选中并且使用。

image.png

image.png


④随后开始网络打通。首先点开专有网络绑定,点击新增绑定,选择刚才RDS的专有网络,这里交换机和安全组选择默认的即可,如果当前的资源组所在的可用区下没有交换机也可以自己创建。

image.png

image.png

image.png

注意:这里“专有网络”要选定RDS-MySQL实例控制台的VPC,就是刚才RDS控制台“数据库连接”里看到的实例VPC,另外还有一个VSwitch是交换机号码,这里配置交换机的时候如果找不到RDS实例的VSwitch(RDS交换机和资源组在不同可用区会找不到,但没关系,后面配置路由连接交换机即可,配置好VPC就行),可以先任意选一个或者新建一个(点击“创建交换机”),安全组选默认的就行,。

这就完成了第一步绑定,但由于它们的交换机不一样,所以现在还无法连通。


image.png

⑤ (在资源组绑定的交换机和rds实例真实的交换机不一致的情况下)需要通过路由规则来将同一个VPC下的不同交换机的网络进行连通。点击“自定义路由”来新增路由,目的类型选择VPC,目的VPC和目的Switch实例选择RDS-MySQL实例(这里应该就能找到VSwitch号码了)的地址。

image.png

添加成功后会有顶部弹出条提示成功


⑥ 生成路由成功之后,需要将交换机网段以及弹性网卡IP加入到RDS实例的白名单内。

image.png

image.png


⑦ 添加白名单之后,这个网络就连通了。连通后进入DataWorks工作空间列表,找到刚才的工作空间,进入数据集成。再进入数据源管理界面,新建MySQL数据源,填入RDS-MySQL数据源的实例信息以及账号、数据库名等信息。

image.png


⑧ 然后我们就可以进行独享数据集成资源组的连通性测试。

image.png


如果使用连接串方式添加数据源,那配置选择会变多:

image.png

“网络连接类型”选择阿里云VPC的话,“JDBC URL”配置里RDS实例地址就使用内网地址,填写形式大概是 “内网地址:端口号/数据库名”

“网络连接类型”选择公网的话,“JDBC URL”配置里RDS实例地址就使用公网地址


以上就是本次“数据集成独享资源组与VPC数据源网络打通”讲解的全部内容,有问题需要解答的同学可以扫码加一下我们的钉钉大群,群里有直播回放可以观看,技术支持的同学们也会回答大家的问题。

感谢大家的关注!

DataWorks部门主群二维码.JPG



相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
弹性计算 运维 负载均衡
课时3:阿里云专有网络VPC:让网络更加独立
阿里云专有网络VPC提供独立、安全的云上网络环境,支持自定义IP地址网段和灵活的路由配置。通过高速通道实现优质网络链路,可用性达99.95%,满足企业高要求的数据传输需求。VPC结合弹性公网IP、负载均衡SLB、Net网关等功能,帮助企业轻松管理网络资源,降低运维成本,实现高效、安全的混合云架构部署。
453 0
|
弹性计算 安全 容灾
阿里云DTS踩坑经验分享系列|使用VPC数据通道解决网络冲突问题
阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。本文介绍如何使用VPC数据通道解决网络冲突问题。
874 0
|
DataWorks NoSQL Java
DataWorks操作报错合集之数据集成使用公共数据集成资源组写入到redis数据源(使用的是VPC连接),提示以下错误:request action:[InnerVpcGrantVpcInstanceAccessToApp], message:[InvalidInstanceId.怎么解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
DataWorks Oracle 关系型数据库
DataWorks产品使用合集之如何打通两个DataWorks的数据源
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
SQL 数据采集 DataWorks
DataWorks操作报错合集之数据集成里面的数据调度独享资源组测试通过了,但是数据地图里无法通过,该如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
数据采集 DataWorks 监控
DataWorks产品使用合集之如何判断资源组的数据源是否已经打通内网
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
683 0
|
数据采集 DataWorks 监控
DataWorks产品使用合集之数据集成并发数不支持批量修改,该怎么办
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
365 0
|
SQL 弹性计算 DataWorks
Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
979 6
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本次分享的主题是DataWorks数据集成同步至Hologres能力,由计算平台的产品经理喆别(王喆)分享。介绍DataWorks将数据集成并同步到Hologres的能力。DataWorks数据集成是一款低成本、高效率、全场景覆盖的产品。当我们面向数据库级别,向Hologres进行同步时,能够实现简单且快速的同步设置。目前仅需配置一个任务,就能迅速地将一个数据库实例内的所有库表一并传输到Hologres中。
520 12
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本文由DataWorks PD王喆分享,介绍DataWorks数据集成同步至Hologres的能力。DataWorks提供低成本、高效率的全场景数据同步方案,支持离线与实时同步。通过Serverless资源组,实现灵活付费与动态扩缩容,提升隔离性和安全性。文章还详细演示了MySQL和ClickHouse整库同步至Hologres的过程。

相关产品

  • 大数据开发治理平台 DataWorks