DataWorks离线任务资源的使用说明并发度和资源的占用关系 是什么?
问:离线任务资源的使用说明并发度和资源的占用关系 **答:**在独享资源组中,占用关系包括并发度和CPU、内存的占用关系:并发度和CPU的占用关系 在独享资源组中,并发度和CPU的占用关系为1:0.5,即拥有一台4 vCPU 8 GiB规格的ECS机器,其独享资源组的并发额度为8。最多能够同时运行8个并发度为1的离线同步任务,或4个并发度为2的离线同步任务。当新提交至独享资源组的任务所需要的并发度大于独享资源组剩余的并发度额度时,新提交的任务将等待独享资源组中正在运行的任务结束,直至剩余的并发度额度满足新提交任务的并发度需求。说明 如果新提交任务设置的并发度超过独享资源组的最大并发额度,例如,向一台拥有4 vCPU 8 GiB规格的ECS机器的独享资源组提交一个并发度设置为10的任务,该任务将永远处于等待资源的状态。由于资源组根据任务被提交的先后顺序分配资源,后续提交的任务也将无法运行。并发度和内存的占用关系在独享资源组中,单个任务的并发度和内存的占用关系为Min{768+(并发数-1)*256,8029} MB。但是,您可以在任务中通过设置,覆盖其对应关系。如果是脚本模式,请在JSON结构的配置文本中,通过JSON路径$.setting.speed.jvmOption进行设置。 您需要确保所有正在运行的任务使用内存的总和,比独享资源组中所有机器的内存总量小1 GB以上,任务才能平稳运行。如果未满足该条件,会因为Linux系统的OOM Killer机制强制停止任务的运行。说明 如果您未使用脚本模式加大任务的内存,则只需要考虑独享资源组并发度的额度对任务提交的限制。——该回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks离线任务中,一个任务可以并发执行,这取决于其并发度的设置。并发度是任务在执行过程中使用的资源量的度量,它指定了一个任务可以使用的最大资源数量。
并发度和资源占用关系:
并发度越高,任务使用的资源量就越大,因此资源占用率也越高。例如,如果一个任务的并发度设置为10,则将使用10个资源来执行。这些资源可以是计算资源,存储资源或其他资源。
在DataWorks中,每个资源都有其独立的资源配额,例如计算资源的CPU和内存配额,存储资源的磁盘空间配额等。如果一个任务的并发度设置得过高,它可能会超过其分配的资源配额,导致任务执行失败或其他问题。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。