MaxCompute资源管理—— 包年包月资源组隔离

简介: 使用基于MaxCompute云数据仓库的企业,由于业务的差异,会创建多project进行数据隔离。同时也因为业务的差异,每个project需要跑的任务量、业务紧急程度等也有差异,因此不同project对计算资源的需求也不一致。本文我们一起探讨如何通过MaxCompute管家实现MaxCompute包年包月的资源隔离。

概述

使用基于MaxCompute云数据仓库的企业,由于业务的差异,会创建多project进行数据隔离。同时也因为业务的差异,每个project需要跑的任务量、业务紧急程度等也有差异,因此不同project对计算资源的需求也不一致。本文我们一起探讨如何通过MaxCompute管家实现MaxCompute包年包月的资源隔离。

背景信息

  • 默认预付费Quota:购买包年包月计算资源后,默认创建的配额组,该配额组不支持修改;升级或降配时,对应的CU量都在这个配额组中进行增减。
  • 管家中支持创建配额组(自定义配额组),自定义的配额组里预留CU的最小值和非预留CU的值将从默认配额组对应的值里进行扣减。
  • 所有配额组预留CU的最小值相加等于购买的预留CU量;所有配额组的非预留CU值相加等于购买的非预留CU量。
  • 配额组中,预留CU的最小和最大值分别代表:

    • 最小值:保障值。
    • 最大值:可使用的最大值(最大可设置为购买的预留CU量)。当有多个配额组且配置了最小值<最大值是,一旦有配额组资源为空闲的时候,则可以占用。

      >当有配额组最小值<最大值 时,说明配额组是有可能会抢占其他配额组空闲资源,因此会导致所有配额组都是共享(当前账号当前region范围)资源组。
      

使用案例

需求背景
公司使用到MaxComput进行大数据开发、分析、挖掘的业务大致为:数仓开发和生产、运营分析需求、算法挖掘。因而也创建了不同的project进行数据业务划分,project业务特点如下:

  • 数仓project,分开发和生产,且按数仓模型分层划分project。
  • 运营分析project,主要提供给业务部分进行日常数据分析取数,根据业务部分需求建不同部门专用project。
  • 算法挖掘,分开发和生产,根据作业周期特点划分project。

根据前期业务评估当前购买的计算资源为预留CU量1000CU,非预留CU量600CU。现在需要将这些计算资源合理的进行隔离分配,以便能最大化提升资源使用率。

资源划分
资源划分可参考几个注意点:

  • 高保障project主要配预留CU,非预留CU可作为加持资源。
  • 预留CU最小值要根据实际配置避免滥用。
  • 对于非高保障,优先级也不高但是会有可能请求大量资源的项目,对应配额组的最大值建议控制范围,影响以免其他资源组资源。
  • 平均占用资源时间较长的考虑隔离独立配额组,同时最大值建议控制范围。
  • 对时效性要求不高,资源占用频率高可以考虑非预留CU。
  • 可根据实际情况结合资源分时功能。
  • 因为默认配额组不可修改包括CU最大值,若不想让某些项目发起的任务可能会占用所有的CU量,那么可以考虑默认配额组不关联项目。由于默认配额组预留CU最小值不能为0,则可以留1CU,然后其他配额组里配置预留CU最小值<最大值,则其他配额组也依然能占用这1CU。

配额组设计如下:
image.png
image.png
综上所述,因为考虑到业务特点,配额组的预留CU最大值都进行了限制,避免严重影响其他配额组的最低保障值。在MaxCompute管家上进行配额组设计管理时,按上述表格,默认配额组不能关联项目,但预留CU最小值又必须大于0,可以选择保留1CU,可以选择上述数仓开发项目最小CU值减1。具体配置步骤如下:

  1. 先进行分时设置,把配额分为00:00:00-09:00:00、09:00:00-23:59:59 两个时段。
  2. 再分别新增配额组,设置 数仓生产、数仓开发、运营、算法相关配额组。
  3. 最后分别将项目关联对应的配额组,默认配额组不关联项目。

总结

随着业务变化,配额组的划分也会可能需要随之变化,所以有必要随时监控配额组的使用情况,以便及时对配额组进行调整。关于配额组监控,您可以通过云监控的"MaxCompute-包年包月Quota组资源"指标进行监控,详情请参考文档j监控告警
另外,您还可以结合MaxCompute更多的资源管理功能如包年包月项目任务使用按量付费资源包年包月项目任务优先级进行更精细的资源管理。

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
10月前
|
机器学习/深度学习 Java 大数据
Java 大视界 -- Java 大数据在智能政务公共资源交易数据分析与监管中的应用(202)
本篇文章深入探讨了 Java 大数据在智能政务公共资源交易监管中的创新应用。通过构建高效的数据采集、智能分析与可视化决策系统,Java 大数据技术成功破解了传统监管中的数据孤岛、效率低下和监管滞后等难题,为公共资源交易打造了“智慧卫士”,助力政务监管迈向智能化、精准化新时代。
|
人工智能 DataWorks 大数据
大数据AI一体化开发再加速:DataWorks 支持GPU类型资源
大数据开发治理平台 DataWorks 的Serverless资源组支持GPU资源类型,以免运维、按需付费、弹性伸缩的Serverless架构,将大数据处理与AI开发能力无缝融合。面向大数据&AI协同开发场景,DataWorks提供了交互式开发和分析工具Notebook。开发者在创建个人开发环境时,可以选择GPU类型的资源作为Notebook运行环境,以支持进行高性能的计算工作。本教程将基于开源多模态大模型Qwen2-VL-2B-Instruct,介绍如何使用 DataWorks Notebook及LLaMA Factory训练框架完成文旅领域大模型的构建。
979 24
|
存储 大数据 Serverless
大数据增加分区优化资源使用
大数据增加分区优化资源使用
308 1
|
资源调度 分布式计算 运维
Hadoop集群资源管理篇-资源调度器
详细介绍了Hadoop集群资源管理中的资源调度器,包括资源分配的概念、大数据运维工程师如何管理集群工作负载、资源调度器的背景、Hadoop提供的FIFO、容量调度器和公平调度器三种资源调度器的概述以及它们之间的对比。
582 4
|
图形学 数据可视化 开发者
超实用Unity Shader Graph教程:从零开始打造令人惊叹的游戏视觉特效,让你的作品瞬间高大上,附带示例代码与详细步骤解析!
【8月更文挑战第31天】Unity Shader Graph 是 Unity 引擎中的强大工具,通过可视化编程帮助开发者轻松创建复杂且炫酷的视觉效果。本文将指导你使用 Shader Graph 实现三种效果:彩虹色渐变着色器、动态光效和水波纹效果。首先确保安装最新版 Unity 并启用 Shader Graph。创建新材质和着色器图谱后,利用节点库中的预定义节点,在编辑区连接节点定义着色器行为。
1935 1
|
资源调度 Kubernetes 调度
Flink 细粒度资源管理问题之细粒度资源请求满足问题如何解决
Flink 细粒度资源管理问题之细粒度资源请求满足问题如何解决
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
579 0
|
8月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
562 14
|
9月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
813 0

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute