DataWorks熟能生巧系列直播第四期:DataWorks数据集成独享资源组与VPC数据源网络打通

简介: 本文主要介绍了DataWorks相关资源组的概念,包括分类、区别和使用场景等,并实操演示了如何打通数据集成独享资源组与VPC数据源网络

本篇文章主要介绍了DataWorks相关资源组的概念,包括分类、区别和使用场景等,并实操演示了如何打通数据集成独享资源组与VPC数据源网络。

分享人:DataWorks技术支持团队


我们在开发者社区学习路线里有发布一个DataWorks的学习路线,里面包含了入门讲解和熟能生巧系列的直播内容,大家可以去学习一下,需要主账号登陆学习哦:https://developer.aliyun.com/learning/course/81

本期视频地址:https://developer.aliyun.com/learning/course/81/detail/1241



一、资源组相关概念介绍


什么是资源组? -  资源组是任务分发、执行的服务器。

DataWorks资源组分为公共资源组、独享资源组、自定义资源组。

  • 公共资源组为用户共享的机器,高峰期可能出现任务等待机器资源而暂时无法运行的情况,运行任务时按量付费。
  • 独享资源组需要用户自行购买,包年包月形式售卖,购买后可分配到用户自己的工作空间独享使用,由DataWorks团队负责维护。
  • 自定义资源组为用户自建的机器,通过安装dataworks所提供的服务插件来获得调度或者数据集成运行的能力,是由用户自己维护。


image.png


资源组的区别和使用场景如下:

image.png

任务执行时如果资源不足,任务会等待资源:

①调度资源组和数据集成资源组这两种资源组等待资源的具体表现形式不同。如果调度资源组资源不足,那么任务日志中会打印“任务并发执行数已达上限,正在等待云端的gateway资源”


②数据集成资源组不足的情况下,数据集成的任务实际不会分配到资源来运行,所以数据集成日志中会长时间地打印wait日志信息。

image.png

如果是使用公共资源组出现等待资源,可以考虑购买独享资源组。如果是独享资源组资源不够,可以考虑扩容或者购买新的独享资源组。注意独享资源组仅在绑定的工作空间内使用,如果是多个工作空间,建议分开购买独享资源组。合理规划使用独享资源组,可以保障任务按时执行和产出。


独享资源组的购买可以在DataWorks管控台的资源组列表中直接进行,

也可以通过如下购买链接直接购买:https://common-buy.aliyun.com/?commodityCode=dide_resource_pre&request=%7B%22ord_time%22:%221:Month%22,%22order_num%22:1,%22region%22:%22cn-shenzhen%22,%22dide_ex_pre_type%22:%22dide_ex_alisa%22,%22dide_ex_alisa_spec%22:%228c16g%22,%22expand_num%22:2%7D


购买时请谨慎确认地域、资源组类型和资源组规格等信息:

image.png

购买之后即可在对应工作空间进行绑定,绑定完成后该空间即可使用独享资源组:image.png



在不同的数据集成任务场景中,数据源所在网络环境比较复杂,需要通过一系列操作打通独享数据集成资源组和数据源的网络链接,下面的链接具体讲解了各种场景。当然,目前DataWorks提供了数据源网络连通性工具来帮助大家连通数据源,降低连通操作的复杂度。



本次主要以RDS-MySQL为例,讲解如何在VPC环境下和独享数据集成资源组打通网络,主要分为以下6个步骤:

  • 购买阿里云数据库服务(以rds-mysql为例)
  • 购买同地域同可用区(可用区可不一致)的数据集成独享资源组
  • 数据集成独享资源组绑定dataworks工作空间
  • 数据集成独享资源组修改专有网络绑定(添加rds实例的vpc信息。不同可用区需要添加路由)
  • 将数据集成独享资源组的eip和弹性网卡ip添加到rds实例的白名单中
  • 创建数据集成数据源并正常测试独享数据集成资源组的连通性


文档指导操作链接:https://developer.aliyun.com/article/766753

image.png


二、实操演示部分

① 首先到RDS管控台,根据我们的需要购买相应的实例。

创建好RDS-MySQL实例之后,可以查看它的基本信息,比如地域可用区、内网地址等。

image.png


随后再看下数据库连接,这里有一个网络类型,表示的是这个实例所在的VPC,而VSwitch表示的是RDS实例所在的VPC下的某个交换机信息(重要)。

image.png


② 购买RDS实例之后,再到DataWorks管控台购买独享数据集成资源组(用作同步任务,若是用做调度任务,需购买独享调度资源组),创建名字和备注。

image.png


这里选独享数据集成资源组并根据需求购买规格,比如4vCPU  8GiB最多支持的离线任务并发数是8,表示的是该资源组上支持的同一时间运行的任务的总的并发数是8。


③ 现在这个独享资源组还无法和对应的RDS实例连通。首先要先改一下归属空间,这是为了让这个独享资源组在对应的工作空间下可以选中并且使用。

image.png

image.png


④随后开始网络打通。首先点开专有网络绑定,点击新增绑定,选择刚才RDS的专有网络,这里交换机和安全组选择默认的即可,如果当前的资源组所在的可用区下没有交换机也可以自己创建。

image.png

image.png

image.png

注意:这里“专有网络”要选定RDS-MySQL实例控制台的VPC,就是刚才RDS控制台“数据库连接”里看到的实例VPC,另外还有一个VSwitch是交换机号码,这里配置交换机的时候如果找不到RDS实例的VSwitch(RDS交换机和资源组在不同可用区会找不到,但没关系,后面配置路由连接交换机即可,配置好VPC就行),可以先任意选一个或者新建一个(点击“创建交换机”),安全组选默认的就行,。

这就完成了第一步绑定,但由于它们的交换机不一样,所以现在还无法连通。


image.png

⑤ (在资源组绑定的交换机和rds实例真实的交换机不一致的情况下)需要通过路由规则来将同一个VPC下的不同交换机的网络进行连通。点击“自定义路由”来新增路由,目的类型选择VPC,目的VPC和目的Switch实例选择RDS-MySQL实例(这里应该就能找到VSwitch号码了)的地址。

image.png

添加成功后会有顶部弹出条提示成功


⑥ 生成路由成功之后,需要将交换机网段以及弹性网卡IP加入到RDS实例的白名单内。

image.png

image.png


⑦ 添加白名单之后,这个网络就连通了。连通后进入DataWorks工作空间列表,找到刚才的工作空间,进入数据集成。再进入数据源管理界面,新建MySQL数据源,填入RDS-MySQL数据源的实例信息以及账号、数据库名等信息。

image.png


⑧ 然后我们就可以进行独享数据集成资源组的连通性测试。

image.png


如果使用连接串方式添加数据源,那配置选择会变多:

image.png

“网络连接类型”选择阿里云VPC的话,“JDBC URL”配置里RDS实例地址就使用内网地址,填写形式大概是 “内网地址:端口号/数据库名”

“网络连接类型”选择公网的话,“JDBC URL”配置里RDS实例地址就使用公网地址


以上就是本次“数据集成独享资源组与VPC数据源网络打通”讲解的全部内容,有问题需要解答的同学可以扫码加一下我们的钉钉大群,群里有直播回放可以观看,技术支持的同学们也会回答大家的问题。

感谢大家的关注!

DataWorks部门主群二维码.JPG



相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
存储 SQL 运维
中国联通网络资源湖仓一体应用实践
本文分享了中国联通技术专家李晓昱在Flink Forward Asia 2024上的演讲,介绍如何借助Flink+Paimon湖仓一体架构解决传统数仓处理百亿级数据的瓶颈。内容涵盖网络资源中心概况、现有挑战、新架构设计及实施效果。新方案实现了数据一致性100%,同步延迟从3小时降至3分钟,存储成本降低50%,为通信行业提供了高效的数据管理范例。未来将深化流式数仓与智能运维融合,推动数字化升级。
936 0
中国联通网络资源湖仓一体应用实践
|
安全 网络安全 数据安全/隐私保护
访问控制列表(ACL)是网络安全中的一种重要机制,用于定义和管理对网络资源的访问权限
访问控制列表(ACL)是网络安全中的一种重要机制,用于定义和管理对网络资源的访问权限。它通过设置一系列规则,控制谁可以访问特定资源、在什么条件下访问以及可以执行哪些操作。ACL 可以应用于路由器、防火墙等设备,分为标准、扩展、基于时间和基于用户等多种类型,广泛用于企业网络和互联网中,以增强安全性和精细管理。
2404 7
|
Java 程序员
JAVA程序员的进阶之路:掌握URL与URLConnection,轻松玩转网络资源!
在Java编程中,网络资源的获取与处理至关重要。本文介绍了如何使用URL与URLConnection高效、准确地获取网络资源。首先,通过`java.net.URL`类定位网络资源;其次,利用`URLConnection`类实现资源的读取与写入。文章还提供了最佳实践,包括异常处理、连接池、超时设置和请求头与响应头的合理配置,帮助Java程序员提升技能,应对复杂网络编程场景。
425 9
|
5G 调度 UED
5G中的动态频谱共享(DSS):高效利用频谱资源,加速5G网络演进
5G中的动态频谱共享(DSS):高效利用频谱资源,加速5G网络演进
3312 4
|
弹性计算 DataWorks 安全
成本最高可降40%!揭秘DataWorks资源组的Serverless进化之路
阿里云DataWorks为数据仓库/数据湖/湖仓一体等解决方案提供智能一站式开发治理平台能力。其中在资源组Serverless化方面,DataWorks实现了重大突破,不仅提高了资源利用率与灵活性,还降低了成本。DataWorks通过升级资源组管理模式,解决了传统资源组存在的复杂计费、资源利用率低等问题。Serverless资源组实现了资源的自动管理和分配,确保任务调度效率,并通过统一资源配额管理实现资源的高效利用和平滑扩缩。此外,容器运行时技术保障了数据和任务的安全隔离。Serverless资源组具备通用性强、付费形式灵活、支持运行中扩缩容等优势,有效提升了用户体验与安全性。
954 10
成本最高可降40%!揭秘DataWorks资源组的Serverless进化之路
|
Java 开发者
JAVA高手必备:URL与URLConnection,解锁网络资源的终极秘籍!
在Java网络编程中,URL和URLConnection是两大关键技术,能够帮助开发者轻松处理网络资源。本文通过两个案例,深入解析了如何使用URL和URLConnection从网站抓取数据和发送POST请求上传数据,助力你成为真正的JAVA高手。
458 11
|
安全 网络安全 数据安全/隐私保护
访问控制列表(ACL)是网络安全管理的重要工具,用于定义和管理网络资源的访问权限。
访问控制列表(ACL)是网络安全管理的重要工具,用于定义和管理网络资源的访问权限。ACL 可应用于路由器、防火墙等设备,通过设定规则控制访问。其类型包括标准、扩展、基于时间和基于用户的ACL,广泛用于企业网络和互联网安全中,以增强安全性、实现精细管理和灵活调整。然而,ACL 也存在管理复杂和可能影响性能的局限性。未来,ACL 将趋向智能化和自动化,与其他安全技术结合,提供更全面的安全保障。
1406 4
|
人工智能 监控 5G
5G 网络切片的动态管理:实现灵活高效的网络资源分配
5G 网络切片的动态管理:实现灵活高效的网络资源分配
1149 1
|
安全 Java 网络安全
【认知革命】JAVA网络编程新视角:重新定义URL与URLConnection,让网络资源触手可及!
【认知革命】JAVA网络编程新视角:重新定义URL与URLConnection,让网络资源触手可及!
277 2
|
监控 算法 网络协议
在Linux中,如何进行网络资源的优化?
在Linux中,如何进行网络资源的优化?

相关产品

  • 大数据开发治理平台 DataWorks