DataWorks一个调度资源48g不够用 怎么提升呢?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中,如果当前调度资源的48GB内存不足以满足需求,可以通过以下方式提升资源能力:
如果使用的是独享调度资源组,可以通过扩容操作来增加资源规格或数量。具体步骤如下:
进入资源组列表页面:
选择目标资源组并扩容:
调整资源配置:
更新白名单配置:
如果当前资源组的规格已达到上限(如24c48g),可以考虑切换到更高规格的资源组。具体步骤如下:
进入运维中心页面:
暂停任务并修改资源组:
恢复任务运行:
如果当前使用的是旧版资源组(如独享资源组),可以考虑切换到Serverless资源组。Serverless资源组具有以下优势: - 支持按需调整CU数,避免资源浪费。 - 扩缩容时不会影响正在运行的任务。 - 支持包年包月和按量付费两种计费方式。
进入数据开发页面:
修改调度资源组:
保存并提交任务:
如果无法直接扩容或切换资源组,可以通过优化任务调度逻辑来缓解资源压力: - 错峰运行任务:每天0点~9点是DataWorks的任务高峰期,建议错开该时间段运行任务。 - 减少并发任务数:通过智能诊断工具查看当前资源占用情况,定位长期占用资源的任务并优化其逻辑。 - 拆分大任务:将耗时较长的大任务拆分为多个小任务,降低单个任务对资源的需求。
根据您的需求,推荐优先尝试扩容独享调度资源组或切换到Serverless资源组。如果资源组规格已达上限,可通过优化任务调度逻辑进一步缓解资源压力。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。