DataWorks当前任务用的 独立调度资源组, 配置已经升级到8C16G了?执行任务报错了:
Submit job failed: Submit instance [id=988666519] to alisa failed! execute task failed, exception: [309:GET_GROUP_SLOT_EXCEPTION]:task slot more then group max slot
2023-11-01 22:09:41 : DI run Job [988666519] failed.
在值班表区域,您可以执行如下操作:通过值班表名称或管理员,快速搜索符合条件的值班表。单击目标值班表后的
图标,可以修改或删除已创建的值班表。说明 仅值班表管理员可以编辑或删除值班表或已创建的值班安排。双击目标值班表,则可进入值班表的详情页面,查看值班表的详细信息。
在目标值班表详情页面,您可以执行如下操作:在①区域,您可以查看值班表的基本信息以及当前的值班人。当您配置的自定义监控规则使用了目标值班表,则该值班表会按照排班情况发送相关报警信息,您可以单击使用情况后的详情查看具体使用信息。管理自定义规则,详情请参见管理自定义规则。在②区域,您可以通过值班人类型,筛选目标值班人的值班安排,也可以查看指定月份的值班安排。默认显示当前月份所有值班人的值班安排。 如果您选择了查看非当前月份的值班,在查看完毕后可以单击回到本月,快速返回至当前月份的值班界面。在值班安排界面,您可以查看已创建值班的值班详情,包括值班人、值班日期、值班类型(属于主值班或备值班)等。双击已创建的值班,则可修改或删除当前值班。
https://help.aliyun.com/document_detail/228571.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
规格选择及费用预估
您可以使用DataWorks独享资源组计算器预估所需规格及相关费用。预估规格及相关费用时,可进入DataWorks的运维中心 > 运维大屏,查看资源运行的实例数、并发情况等信息作为参考。查看运维大屏,详情请参见查看运维大屏。
根据您的描述,“Submit instance [id=988666519] to alisa failed! execute task failed, exception: [309:GET_GROUP_SLOT_EXCEPTION]:task slot more then group max slot” 这个错误表示您的任务实例想要获取的资源超过了当前调度资源组的上限。
具体来说,当您将一个任务提交给 DataWorks 时,它会请求一组特定的计算资源来执行该任务。这些资源包括 CPU 和内存等硬件资源,也包括作业运行所需的时间和空间等软件资源。然而,在 DataWorks 中,这些资源是有限的,并且必须在不同任务之间共享。
在您的案例中,您的任务需要使用的计算资源超过了当前调度资源组的最大限制,因此 DataWorks 不允许它运行。为了解决这个问题,您可以采取以下两种措施:
这个错误提示表明,你当前任务所使用的独立调度资源组(可能是你在DataWorks中配置的)的资源不足以满足任务的需求。具体来说,你的任务需要的slot数量超过了该资源组所能提供的最大slot数量。
在Spark中,slot是计算资源的单位,用于执行executor占用的计算资源。一个executor默认占用一个slot,但可以通过设置spark.driver.memory和spark.executor.memory来调整每个executor占用的内存,进而调整slot的数量。
出现这种情况,有以下几种可能的解决方案:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。