DataWorks熟能生巧系列直播第四期:DataWorks数据集成独享资源组与VPC数据源网络打通

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: 本文主要介绍了DataWorks相关资源组的概念,包括分类、区别和使用场景等,并实操演示了如何打通数据集成独享资源组与VPC数据源网络

本篇文章主要介绍了DataWorks相关资源组的概念,包括分类、区别和使用场景等,并实操演示了如何打通数据集成独享资源组与VPC数据源网络。

分享人:DataWorks技术支持团队


我们在开发者社区学习路线里有发布一个DataWorks的学习路线,里面包含了入门讲解和熟能生巧系列的直播内容,大家可以去学习一下,需要主账号登陆学习哦:https://developer.aliyun.com/learning/course/81

本期视频地址:https://developer.aliyun.com/learning/course/81/detail/1241



一、资源组相关概念介绍


什么是资源组? -  资源组是任务分发、执行的服务器。

DataWorks资源组分为公共资源组、独享资源组、自定义资源组。

  • 公共资源组为用户共享的机器,高峰期可能出现任务等待机器资源而暂时无法运行的情况,运行任务时按量付费。
  • 独享资源组需要用户自行购买,包年包月形式售卖,购买后可分配到用户自己的工作空间独享使用,由DataWorks团队负责维护。
  • 自定义资源组为用户自建的机器,通过安装dataworks所提供的服务插件来获得调度或者数据集成运行的能力,是由用户自己维护。


image.png


资源组的区别和使用场景如下:

image.png

任务执行时如果资源不足,任务会等待资源:

①调度资源组和数据集成资源组这两种资源组等待资源的具体表现形式不同。如果调度资源组资源不足,那么任务日志中会打印“任务并发执行数已达上限,正在等待云端的gateway资源”


②数据集成资源组不足的情况下,数据集成的任务实际不会分配到资源来运行,所以数据集成日志中会长时间地打印wait日志信息。

image.png

如果是使用公共资源组出现等待资源,可以考虑购买独享资源组。如果是独享资源组资源不够,可以考虑扩容或者购买新的独享资源组。注意独享资源组仅在绑定的工作空间内使用,如果是多个工作空间,建议分开购买独享资源组。合理规划使用独享资源组,可以保障任务按时执行和产出。


独享资源组的购买可以在DataWorks管控台的资源组列表中直接进行,

也可以通过如下购买链接直接购买:https://common-buy.aliyun.com/?commodityCode=dide_resource_pre&request=%7B%22ord_time%22:%221:Month%22,%22order_num%22:1,%22region%22:%22cn-shenzhen%22,%22dide_ex_pre_type%22:%22dide_ex_alisa%22,%22dide_ex_alisa_spec%22:%228c16g%22,%22expand_num%22:2%7D


购买时请谨慎确认地域、资源组类型和资源组规格等信息:

image.png

购买之后即可在对应工作空间进行绑定,绑定完成后该空间即可使用独享资源组:image.png



在不同的数据集成任务场景中,数据源所在网络环境比较复杂,需要通过一系列操作打通独享数据集成资源组和数据源的网络链接,下面的链接具体讲解了各种场景。当然,目前DataWorks提供了数据源网络连通性工具来帮助大家连通数据源,降低连通操作的复杂度。



本次主要以RDS-MySQL为例,讲解如何在VPC环境下和独享数据集成资源组打通网络,主要分为以下6个步骤:

  • 购买阿里云数据库服务(以rds-mysql为例)
  • 购买同地域同可用区(可用区可不一致)的数据集成独享资源组
  • 数据集成独享资源组绑定dataworks工作空间
  • 数据集成独享资源组修改专有网络绑定(添加rds实例的vpc信息。不同可用区需要添加路由)
  • 将数据集成独享资源组的eip和弹性网卡ip添加到rds实例的白名单中
  • 创建数据集成数据源并正常测试独享数据集成资源组的连通性


文档指导操作链接:https://developer.aliyun.com/article/766753

image.png


二、实操演示部分

① 首先到RDS管控台,根据我们的需要购买相应的实例。

创建好RDS-MySQL实例之后,可以查看它的基本信息,比如地域可用区、内网地址等。

image.png


随后再看下数据库连接,这里有一个网络类型,表示的是这个实例所在的VPC,而VSwitch表示的是RDS实例所在的VPC下的某个交换机信息(重要)。

image.png


② 购买RDS实例之后,再到DataWorks管控台购买独享数据集成资源组(用作同步任务,若是用做调度任务,需购买独享调度资源组),创建名字和备注。

image.png


这里选独享数据集成资源组并根据需求购买规格,比如4vCPU  8GiB最多支持的离线任务并发数是8,表示的是该资源组上支持的同一时间运行的任务的总的并发数是8。


③ 现在这个独享资源组还无法和对应的RDS实例连通。首先要先改一下归属空间,这是为了让这个独享资源组在对应的工作空间下可以选中并且使用。

image.png

image.png


④随后开始网络打通。首先点开专有网络绑定,点击新增绑定,选择刚才RDS的专有网络,这里交换机和安全组选择默认的即可,如果当前的资源组所在的可用区下没有交换机也可以自己创建。

image.png

image.png

image.png

注意:这里“专有网络”要选定RDS-MySQL实例控制台的VPC,就是刚才RDS控制台“数据库连接”里看到的实例VPC,另外还有一个VSwitch是交换机号码,这里配置交换机的时候如果找不到RDS实例的VSwitch(RDS交换机和资源组在不同可用区会找不到,但没关系,后面配置路由连接交换机即可,配置好VPC就行),可以先任意选一个或者新建一个(点击“创建交换机”),安全组选默认的就行,。

这就完成了第一步绑定,但由于它们的交换机不一样,所以现在还无法连通。


image.png

⑤ (在资源组绑定的交换机和rds实例真实的交换机不一致的情况下)需要通过路由规则来将同一个VPC下的不同交换机的网络进行连通。点击“自定义路由”来新增路由,目的类型选择VPC,目的VPC和目的Switch实例选择RDS-MySQL实例(这里应该就能找到VSwitch号码了)的地址。

image.png

添加成功后会有顶部弹出条提示成功


⑥ 生成路由成功之后,需要将交换机网段以及弹性网卡IP加入到RDS实例的白名单内。

image.png

image.png


⑦ 添加白名单之后,这个网络就连通了。连通后进入DataWorks工作空间列表,找到刚才的工作空间,进入数据集成。再进入数据源管理界面,新建MySQL数据源,填入RDS-MySQL数据源的实例信息以及账号、数据库名等信息。

image.png


⑧ 然后我们就可以进行独享数据集成资源组的连通性测试。

image.png


如果使用连接串方式添加数据源,那配置选择会变多:

image.png

“网络连接类型”选择阿里云VPC的话,“JDBC URL”配置里RDS实例地址就使用内网地址,填写形式大概是 “内网地址:端口号/数据库名”

“网络连接类型”选择公网的话,“JDBC URL”配置里RDS实例地址就使用公网地址


以上就是本次“数据集成独享资源组与VPC数据源网络打通”讲解的全部内容,有问题需要解答的同学可以扫码加一下我们的钉钉大群,群里有直播回放可以观看,技术支持的同学们也会回答大家的问题。

感谢大家的关注!

DataWorks部门主群二维码.JPG



相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
SQL DataWorks 关系型数据库
DataWorks产品使用合集之如何进行不同网络环境下的网络连通
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
DataWorks 监控 NoSQL
DataWorks产品使用合集之网络连通性的作用是什么
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
10月前
|
SQL 安全 网络安全
网络安全与信息安全:知识分享####
【10月更文挑战第21天】 随着数字化时代的快速发展,网络安全和信息安全已成为个人和企业不可忽视的关键问题。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,并提供一些实用的建议,帮助读者提高自身的网络安全防护能力。 ####
225 17
|
10月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将从网络安全漏洞、加密技术和安全意识三个方面进行探讨,旨在提高读者对网络安全的认识和防范能力。通过分析常见的网络安全漏洞,介绍加密技术的基本原理和应用,以及强调安全意识的重要性,帮助读者更好地保护自己的网络信息安全。
178 10
|
10月前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将介绍网络安全的重要性,分析常见的网络安全漏洞及其危害,探讨加密技术在保障网络安全中的作用,并强调提高安全意识的必要性。通过本文的学习,读者将了解网络安全的基本概念和应对策略,提升个人和组织的网络安全防护能力。
|
10月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的内容,并提供一些实用的代码示例。通过阅读本文,您将了解到如何保护自己的网络安全,以及如何提高自己的信息安全意识。
185 10
|
10月前
|
监控 安全 网络安全
网络安全与信息安全:漏洞、加密与意识的交织
在数字时代的浪潮中,网络安全与信息安全成为维护数据完整性、保密性和可用性的关键。本文深入探讨了网络安全中的漏洞概念、加密技术的应用以及提升安全意识的重要性。通过实际案例分析,揭示了网络攻击的常见模式和防御策略,强调了教育和技术并重的安全理念。旨在为读者提供一套全面的网络安全知识框架,从而在日益复杂的网络环境中保护个人和组织的资产安全。
|
10月前
|
存储 监控 安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
本文将探讨云计算与网络安全之间的关系,以及它们在云服务、网络安全和信息安全等技术领域中的融合与挑战。我们将分析云计算的优势和风险,以及如何通过网络安全措施来保护数据和应用程序。我们还将讨论如何确保云服务的可用性和可靠性,以及如何处理网络攻击和数据泄露等问题。最后,我们将提供一些关于如何在云计算环境中实现网络安全的建议和最佳实践。
|
10月前
|
安全 算法 网络协议
网络安全与信息安全知识分享
本文深入探讨了网络安全漏洞、加密技术以及安全意识三个方面,旨在帮助读者更好地理解和应对网络安全威胁。通过分析常见的网络安全漏洞类型及其防范措施,详细介绍对称加密和非对称加密的原理和应用,并强调提高个人和企业安全意识的重要性,为构建更安全的网络环境提供指导。
173 2
|
10月前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们日常生活中不可或缺的一部分。本文将深入探讨网络安全漏洞、加密技术和安全意识等方面的问题,并提供一些实用的建议和解决方案。我们将通过分析网络攻击的常见形式,揭示网络安全的脆弱性,并介绍如何利用加密技术来保护数据。此外,我们还将强调提高个人和企业的安全意识的重要性,以应对日益复杂的网络威胁。无论你是普通用户还是IT专业人士,这篇文章都将为你提供有价值的见解和指导。

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks