开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks当前任务用的 独立调度资源组, 配置已经升级到8C16G了?

DataWorks当前任务用的 独立调度资源组, 配置已经升级到8C16G了?执行任务报错了:
Submit job failed: Submit instance [id=988666519] to alisa failed! execute task failed, exception: [309:GET_GROUP_SLOT_EXCEPTION]:task slot more then group max slot
2023-11-01 22:09:41 : DI run Job [988666519] failed.

展开
收起
真的很搞笑 2023-11-07 08:47:02 93 0
4 条回答
写回答
取消 提交回答
  • 在值班表区域,您可以执行如下操作:通过值班表名称或管理员,快速搜索符合条件的值班表。单击目标值班表后的image.png
    图标,可以修改或删除已创建的值班表。说明 仅值班表管理员可以编辑或删除值班表或已创建的值班安排。双击目标值班表,则可进入值班表的详情页面,查看值班表的详细信息。image.png
    在目标值班表详情页面,您可以执行如下操作:在①区域,您可以查看值班表的基本信息以及当前的值班人。当您配置的自定义监控规则使用了目标值班表,则该值班表会按照排班情况发送相关报警信息,您可以单击使用情况后的详情查看具体使用信息。管理自定义规则,详情请参见管理自定义规则。在②区域,您可以通过值班人类型,筛选目标值班人的值班安排,也可以查看指定月份的值班安排。默认显示当前月份所有值班人的值班安排。 如果您选择了查看非当前月份的值班,在查看完毕后可以单击回到本月,快速返回至当前月份的值班界面。在值班安排界面,您可以查看已创建值班的值班详情,包括值班人、值班日期、值班类型(属于主值班或备值班)等。双击已创建的值班,则可修改或删除当前值班。image.png

    https://help.aliyun.com/document_detail/228571.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-07 22:08:21
    赞同 展开评论 打赏
  • 独享调度资源组https://help.aliyun.com/zh/dataworks/product-overview/exclusive-resource-groups-for-scheduling?spm=a2c4g.11186623.0.i154

    image.png

    规格选择及费用预估
    您可以使用DataWorks独享资源组计算器预估所需规格及相关费用。预估规格及相关费用时,可进入DataWorks的运维中心 > 运维大屏,查看资源运行的实例数、并发情况等信息作为参考。查看运维大屏,详情请参见查看运维大屏。

    2023-11-07 14:18:48
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据您的描述,“Submit instance [id=988666519] to alisa failed! execute task failed, exception: [309:GET_GROUP_SLOT_EXCEPTION]:task slot more then group max slot” 这个错误表示您的任务实例想要获取的资源超过了当前调度资源组的上限。
    具体来说,当您将一个任务提交给 DataWorks 时,它会请求一组特定的计算资源来执行该任务。这些资源包括 CPU 和内存等硬件资源,也包括作业运行所需的时间和空间等软件资源。然而,在 DataWorks 中,这些资源是有限的,并且必须在不同任务之间共享。
    在您的案例中,您的任务需要使用的计算资源超过了当前调度资源组的最大限制,因此 DataWorks 不允许它运行。为了解决这个问题,您可以采取以下两种措施:

    1. 增加调度资源组的上限:您可以尝试增加调度资源组的最大限制,以允许更多的任务在同一时间运行。要执行此操作,请登录到 DataWorks 控制台,选择要管理的调度资源组,然后调整资源组的相关参数,例如 CPU 和内存的数量。
    2. 调整任务的计算需求:如果您的任务不需要大量的计算资源,那么您也可以尝试降低任务的计算需求,以使其能够运行在现有调度资源组的范围内。要执行此操作,请在 DataWorks 工作空间中打开任务配置面板,然后调整任务的计算资源设置。
    2023-11-07 10:55:13
    赞同 展开评论 打赏
  • 这个错误提示表明,你当前任务所使用的独立调度资源组(可能是你在DataWorks中配置的)的资源不足以满足任务的需求。具体来说,你的任务需要的slot数量超过了该资源组所能提供的最大slot数量。

    在Spark中,slot是计算资源的单位,用于执行executor占用的计算资源。一个executor默认占用一个slot,但可以通过设置spark.driver.memory和spark.executor.memory来调整每个executor占用的内存,进而调整slot的数量。

    出现这种情况,有以下几种可能的解决方案:

    1. 增加独立资源组的slot数量。你可以在DataWorks中重新配置独立资源组的规格,使其具备更多的slot。具体操作可以参考DataWorks的官方文档或者在线帮助。
    2. 减少任务的并行度或者调整executor的内存占用从而减少每个executor所需的slot数量。在Spark的配置文件中(通常是spark-defaults.conf),可以设置spark.driver.memory和spark.executor.memory参数来调整内存和slot的使用。
    3. 如果你的任务可以容忍更长的执行时间,那么可以考虑增加任务的执行时间窗口,从而降低单位时间内任务的执行压力。
    4. 如果以上方法仍然无法解决问题,那么可能需要考虑增加更多的独立调度资源组或者升级硬件配置以提供更多的计算资源。
    2023-11-07 09:03:10
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多