可以参考看下
https://help.aliyun.com/zh/dataworks/product-overview/exclusive-resource-groups-for-scheduling?spm=a2c4g.11186623.0.i11表权限审批策略自定义配置可以参考这里 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks在创建独享数据集成资源组时,会根据任务的计算需求和存储需求来自动分配资源。具体来说,DataWorks会考虑以下几个方面:
任务的计算需求:根据任务的数据处理逻辑、算法复杂度等因素,DataWorks会估算出任务所需的计算资源数量,包括CPU核数、内存大小等。
任务的存储需求:根据任务处理的数据量、数据类型等因素,DataWorks会估算出任务所需的存储资源数量,包括HDFS文件系统容量、数据库表空间等。
任务的并发度:如果任务需要同时处理多个数据源或进行并行计算,DataWorks会考虑任务的并发度,并根据并发度来分配更多的资源。
任务的资源使用情况:如果之前的任务已经使用了一部分资源,DataWorks会考虑这些资源的使用情况,并根据剩余资源来分配新的资源。
综上所述,DataWorks会根据任务的计算需求、存储需求、并发度和资源使用情况等因素来自动分配合适的独享数据集成资源组大小。如果您对资源分配有特殊的需求,可以通过调整任务的配置参数或者手动调整资源组的大小来实现。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。