DataWorks公共数据集成资源组的资源是什么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在 DataWorks 中,公共数据集成资源组是多个租户共享的数据集成计算资源,不同的租户可以共同使用资源组中的计算资源。资源组中的资源包括计算节点、数据存储、网络连接等,可以用于数据集成任务的执行和管理。
具体来说,公共数据集成资源组的资源包括以下几个方面:
计算节点:资源组中的计算节点是用于执行数据集成任务的计算资源,包括 CPU、内存、网络等方面。不同的任务可以根据自身的需求和优先级,共享资源组中的计算节点。
数据存储:资源组中的数据存储是用于存储和管理数据的存储资源,包括数据源、数据目的地、中间数据等方面。不同的任务可以根据自身的需求和数据来源,共享资源组中的数据存储。
网络连接:资源组中的网络连接是用于连接和传输数据的网络资源,包括内网、公网、专线等方面。不同的任务可以根据自身的数据传输方式和网络要求,共享资源组中的网络连接。
在DataWorks中,公共数据集成资源组是一种资源管理机制,用于管理和分配数据集成任务所需的资源。资源组包含了以下几个方面的资源:
计算资源:指定了用于执行数据集成任务的计算资源,例如CPU、内存等。
数据源连接:包括访问不同数据源所需的连接资源,如数据库连接、API连接等。
并发控制:用于限制并发执行数据集成任务的数量,以保证系统的稳定性和性能。
通过设置公共数据集成资源组,可以对数据集成任务进行资源隔离和调度优化。不同的资源组可以根据业务需求分配不同的资源,例如高优先级任务可以获得更多的计算资源和并发限制,而低优先级任务则可以按需使用较少的资源。
需要注意的是,在使用公共数据集成资源组时,需要确保所使用的资源组已经创建并配置了相应的资源,同时任务也需要绑定到正确的资源组上才能享受相关的资源管理机制。
公共数据集成(调试)资源组是DataWorks提供的公共资源组的一种,计费方式为按量计费。所有阿里云DataWorks用户共享使用公共数据集成(调试)资源组资源,使用高峰期可能会出现不同用户间抢占资源的情况,无法保证任务及时调度执行。您可以在公共数据集成(调试)资源组的基础上购买公共资源包,或者直接使用独享数据集成资源组,保障任务的运行。更多公共资源组和公共资源包的介绍可参见公共资源组与公共资源包,独享数据集成资源组的介绍可参见独享数据集成资源组。
https://help.aliyun.com/document_detail/204058.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。