dataworks哪些节点可以使用公共资源组?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
资源组是数据集成用来运行数据同步任务的计算资源,可以通俗的理解为“带有CPU、内存和网络的计算机或计算机集群”。同步任务就是运行在上面的“程序”。
数据集成有三种资源组:公共资源组(又称默认资源组)、独享资源组、自定义资源组。它们适用的场景不同,您在做数据同步时可以根据自己实际的需求来选择。
调度有三种资源组:默认、独享、自定义;DataWorks中的数据集成也有同样的三种资源组:默认、独享、自定义。
在使用DataWorks的时候,如果需要使用数据集成任务,那么需要区分开调度和数据集成2种资源组的概念;
默认资源组是DataWorks在租户开始使用时候就给每个租户颁发的资源组了,租户内所有项目共享,不需要任何配置、操作就可以运行任务;但是该默认资源组需要说明节点:
使用场景: 默认资源组是在租户购买了DataWorks时候就会默认创建的,可以支持用户在页面进行数据开发、运行测试等能力,目前是免费支持的;
任务量相对较少,或者相对来说对任务时效性要求不高的场景。
提供的能力, 支持所有的任务类型,但不支持:
需要公网访问外部服务,且需要白名单的不支持;
需要访问VPC的任务不支持,
需要访问公网的也不建议使用,建议切换其他资源组使用;
任务安全沙箱的能力。
注意事项:
默认资源组最大调度资源是有固定分配的默认大小的;所有租户下项目共享,会存在项目之间的资源抢占,不能100%保障任务按时获得资源运行; 默认资源组是在平台的公共集群下的,所有租户都共享该集群资源,所以在高峰期会存在租户之间的资源抢占,不能100%保障任务按时获得资源运行;
公共资源组、独享资源组和自定义资源组的使用说明如下:组合节点暂不支持选择资源组类型,您可以在运维中心页面修改内部节点的资源组。数据同步节点、Shell节点、ODPS SQL节点和ODPS MR节点支持使用公共资源组、独享资源组和自定义资源组。PAI节点仅支持使用公共资源组。除PAI节点外的其它节点默认支持使用公共资源组和独享资源组。 https://help.aliyun.com/document_detail/162565.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。