DataWorks一个调度资源48g不够用 怎么提升呢?

DataWorks一个调度资源48g不够用 怎么提升呢?

展开
收起
真的很搞笑 2024-04-22 17:41:49 61 分享 版权
阿里云 AI 助理回答

在DataWorks中,如果当前调度资源的48GB内存不足以满足需求,可以通过以下方式提升资源能力:


1. 扩容独享调度资源组

如果使用的是独享调度资源组,可以通过扩容操作来增加资源规格或数量。具体步骤如下:

扩容操作步骤:

  1. 进入资源组列表页面

    • 登录DataWorks控制台。
    • 在左侧导航栏,单击资源组列表,选择目标地域。
  2. 选择目标资源组并扩容

    • 独享资源组页签,找到目标资源组,单击其操作列的 > 扩容
  3. 调整资源配置

    • 变配页面,调整资源数量或升级到更高规格(如从12c24g升级到16c32g或24c48g)。
    • 勾选服务协议后,单击立即购买完成扩容。
  4. 更新白名单配置

    • 扩容完成后,资源组的EIP可能会发生变化。为确保网络连通性,请将新的EIP地址添加到数据源的白名单中。

注意事项:

  • 扩缩容影响:扩容操作不会影响正在运行的任务,但需要确保资源组处于运行中状态才能进行操作。
  • 扩容高峰期:每日凌晨(00:00~08:00)是扩容高峰期,扩容时间可能延长1~2小时。

2. 切换到更高规格的资源组

如果当前资源组的规格已达到上限(如24c48g),可以考虑切换到更高规格的资源组。具体步骤如下:

切换资源组步骤:

  1. 进入运维中心页面

    • 登录DataWorks控制台,切换至目标地域。
    • 单击左侧导航栏的数据开发与运维 > 运维中心,选择对应工作空间。
  2. 暂停任务并修改资源组

    • 在左侧导航栏,单击周期任务运维 > 周期任务
    • 选中需要修改资源组的任务,在页面底部点击暂停(冻结)
    • 点击修改调度资源组,在弹窗中选择更高规格的资源组。
  3. 恢复任务运行

    • 修改完成后,选中任务并点击**恢复(解冻)**以继续任务执行。

注意事项:

  • 资源组切换影响:切换资源组时,需暂停任务,因此建议在低峰期操作。
  • 发布流程:在数据开发环境中修改的资源组不会同步到生产环境,需通过发布流程生效。

3. 使用Serverless资源组

如果当前使用的是旧版资源组(如独享资源组),可以考虑切换到Serverless资源组。Serverless资源组具有以下优势: - 支持按需调整CU数,避免资源浪费。 - 扩缩容时不会影响正在运行的任务。 - 支持包年包月和按量付费两种计费方式。

切换到Serverless资源组步骤:

  1. 进入数据开发页面

    • 登录DataWorks控制台,切换至目标地域。
    • 单击左侧导航栏的数据开发与运维 > 数据开发,选择对应工作空间。
  2. 修改调度资源组

    • 在左侧导航栏,单击数据开发,找到目标任务。
    • 调度配置页面,修改资源属性区域中的调度资源组为Serverless资源组。
  3. 保存并提交任务

    • 保存任务并在运行成功后提交。

注意事项:

  • 网络配置:Serverless资源组默认不具备公网访问能力。如果需要访问公网数据源,请为绑定的VPC配置公网NAT网关和EIP。
  • 资源组冻结:按量付费的Serverless资源组若7天内未被使用,系统会自动冻结。启用前需手动操作。

4. 优化任务调度逻辑

如果无法直接扩容或切换资源组,可以通过优化任务调度逻辑来缓解资源压力: - 错峰运行任务:每天0点~9点是DataWorks的任务高峰期,建议错开该时间段运行任务。 - 减少并发任务数:通过智能诊断工具查看当前资源占用情况,定位长期占用资源的任务并优化其逻辑。 - 拆分大任务:将耗时较长的大任务拆分为多个小任务,降低单个任务对资源的需求。


总结

根据您的需求,推荐优先尝试扩容独享调度资源组切换到Serverless资源组。如果资源组规格已达上限,可通过优化任务调度逻辑进一步缓解资源压力。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理