开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks离线任务资源的使用说明并发度和资源的占用关系 是什么?

DataWorks离线任务资源的使用说明并发度和资源的占用关系 是什么?

展开
收起
wenti 2023-03-13 14:40:32 216 0
2 条回答
写回答
取消 提交回答
  • 问:离线任务资源的使用说明并发度和资源的占用关系 **答:**在独享资源组中,占用关系包括并发度和CPU、内存的占用关系:并发度和CPU的占用关系 在独享资源组中,并发度和CPU的占用关系为1:0.5,即拥有一台4 vCPU 8 GiB规格的ECS机器,其独享资源组的并发额度为8。最多能够同时运行8个并发度为1的离线同步任务,或4个并发度为2的离线同步任务。当新提交至独享资源组的任务所需要的并发度大于独享资源组剩余的并发度额度时,新提交的任务将等待独享资源组中正在运行的任务结束,直至剩余的并发度额度满足新提交任务的并发度需求。说明 如果新提交任务设置的并发度超过独享资源组的最大并发额度,例如,向一台拥有4 vCPU 8 GiB规格的ECS机器的独享资源组提交一个并发度设置为10的任务,该任务将永远处于等待资源的状态。由于资源组根据任务被提交的先后顺序分配资源,后续提交的任务也将无法运行。并发度和内存的占用关系在独享资源组中,单个任务的并发度和内存的占用关系为Min{768+(并发数-1)*256,8029} MB。但是,您可以在任务中通过设置,覆盖其对应关系。如果是脚本模式,请在JSON结构的配置文本中,通过JSON路径$.setting.speed.jvmOption进行设置。 图片.png 您需要确保所有正在运行的任务使用内存的总和,比独享资源组中所有机器的内存总量小1 GB以上,任务才能平稳运行。如果未满足该条件,会因为Linux系统的OOM Killer机制强制停止任务的运行。说明 如果您未使用脚本模式加大任务的内存,则只需要考虑独享资源组并发度的额度对任务提交的限制。——该回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-13 23:12:43
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    在DataWorks离线任务中,一个任务可以并发执行,这取决于其并发度的设置。并发度是任务在执行过程中使用的资源量的度量,它指定了一个任务可以使用的最大资源数量。

    并发度和资源占用关系:

    并发度越高,任务使用的资源量就越大,因此资源占用率也越高。例如,如果一个任务的并发度设置为10,则将使用10个资源来执行。这些资源可以是计算资源,存储资源或其他资源。

    在DataWorks中,每个资源都有其独立的资源配额,例如计算资源的CPU和内存配额,存储资源的磁盘空间配额等。如果一个任务的并发度设置得过高,它可能会超过其分配的资源配额,导致任务执行失败或其他问题。

    2023-03-13 14:45:32
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多