开发者社区> 海清> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

MaxCompute资源管理—— 包年包月资源组隔离

简介: 使用基于MaxCompute云数据仓库的企业,由于业务的差异,会创建多project进行数据隔离。同时也因为业务的差异,每个project需要跑的任务量、业务紧急程度等也有差异,因此不同project对计算资源的需求也不一致。本文我们一起探讨如何通过MaxCompute管家实现MaxCompute包年包月的资源隔离。
+关注继续查看

概述

使用基于MaxCompute云数据仓库的企业,由于业务的差异,会创建多project进行数据隔离。同时也因为业务的差异,每个project需要跑的任务量、业务紧急程度等也有差异,因此不同project对计算资源的需求也不一致。本文我们一起探讨如何通过MaxCompute管家实现MaxCompute包年包月的资源隔离。

背景信息

  • 默认预付费Quota:购买包年包月计算资源后,默认创建的配额组,该配额组不支持修改;升级或降配时,对应的CU量都在这个配额组中进行增减。
  • 管家中支持创建配额组(自定义配额组),自定义的配额组里预留CU的最小值和非预留CU的值将从默认配额组对应的值里进行扣减。
  • 所有配额组预留CU的最小值相加等于购买的预留CU量;所有配额组的非预留CU值相加等于购买的非预留CU量。
  • 配额组中,预留CU的最小和最大值分别代表:

    • 最小值:保障值。
    • 最大值:可使用的最大值(最大可设置为购买的预留CU量)。当有多个配额组且配置了最小值<最大值是,一旦有配额组资源为空闲的时候,则可以占用。

      >当有配额组最小值<最大值 时,说明配额组是有可能会抢占其他配额组空闲资源,因此会导致所有配额组都是共享(当前账号当前region范围)资源组。
      

使用案例

需求背景
公司使用到MaxComput进行大数据开发、分析、挖掘的业务大致为:数仓开发和生产、运营分析需求、算法挖掘。因而也创建了不同的project进行数据业务划分,project业务特点如下:

  • 数仓project,分开发和生产,且按数仓模型分层划分project。
  • 运营分析project,主要提供给业务部分进行日常数据分析取数,根据业务部分需求建不同部门专用project。
  • 算法挖掘,分开发和生产,根据作业周期特点划分project。

根据前期业务评估当前购买的计算资源为预留CU量1000CU,非预留CU量600CU。现在需要将这些计算资源合理的进行隔离分配,以便能最大化提升资源使用率。

资源划分
资源划分可参考几个注意点:

  • 高保障project主要配预留CU,非预留CU可作为加持资源。
  • 预留CU最小值要根据实际配置避免滥用。
  • 对于非高保障,优先级也不高但是会有可能请求大量资源的项目,对应配额组的最大值建议控制范围,影响以免其他资源组资源。
  • 平均占用资源时间较长的考虑隔离独立配额组,同时最大值建议控制范围。
  • 对时效性要求不高,资源占用频率高可以考虑非预留CU。
  • 可根据实际情况结合资源分时功能。
  • 因为默认配额组不可修改包括CU最大值,若不想让某些项目发起的任务可能会占用所有的CU量,那么可以考虑默认配额组不关联项目。由于默认配额组预留CU最小值不能为0,则可以留1CU,然后其他配额组里配置预留CU最小值<最大值,则其他配额组也依然能占用这1CU。

配额组设计如下:
image.png
image.png
综上所述,因为考虑到业务特点,配额组的预留CU最大值都进行了限制,避免严重影响其他配额组的最低保障值。在MaxCompute管家上进行配额组设计管理时,按上述表格,默认配额组不能关联项目,但预留CU最小值又必须大于0,可以选择保留1CU,可以选择上述数仓开发项目最小CU值减1。具体配置步骤如下:

  1. 先进行分时设置,把配额分为00:00:00-09:00:00、09:00:00-23:59:59 两个时段。
  2. 再分别新增配额组,设置 数仓生产、数仓开发、运营、算法相关配额组。
  3. 最后分别将项目关联对应的配额组,默认配额组不关联项目。

总结

随着业务变化,配额组的划分也会可能需要随之变化,所以有必要随时监控配额组的使用情况,以便及时对配额组进行调整。关于配额组监控,您可以通过云监控的"MaxCompute-包年包月Quota组资源"指标进行监控,详情请参考文档j监控告警
另外,您还可以结合MaxCompute更多的资源管理功能如包年包月项目任务使用按量付费资源包年包月项目任务优先级进行更精细的资源管理。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云MaxCompute 2018-12月刊
MaxCompute12月刊等待您的查收,12月产品更新文档、技术直播干货整理,1月最新产品发布动态,详情请阅读本文
3862 0
阿里云MaxCompute 2019-1月刊
亲爱的开发者们,,MaxCompute 2019.1月刊为您带来产品最新动态和丰富的产品技术内容,欢迎阅读。
5152 0
【阿里云新品发布·周刊】第2期:阿里巴巴航母级计算平台MaxCompute,关键还发布开发者版本,你敢想象吗?
新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多内容,点击订阅 最新发布 大数据平台开发者版发布会2019年03月20日15时,MaxCompute将全新推出,大数据开发者专属版本—MaxCompute开发者版。
2054 0
阿里云大数据平台MaxCompute用户指南官方电子版下载
阿里云大数据平台MaxCompute用户指南
1353 0
【阿里云峰会出海论坛】MaxCompute助力小影短视频走向全球化
数字时代,中国已经成为世界互联网的中心,小影(海外版称作为VivaVideo,后简称VivaVideo)作为国内首批短视频出海企业,借助统一的云计算平台快速实现全球业务的线上部署,已经让每一行代码都获得全球化的能力。
1500 0
阿里云MaxCompute 2019-3月刊
欢迎阅读 MaxCompute 2019.3月刊,开发者专属版本发布,新增金融、视频行业的案例视频,最新官方文档和技术文章等内容尽在本文。
3075 0
阿里云MaxCompute 2019-4月刊
4月新功能发布,精彩技术好文推荐,5月线上线下活动抢先知道,尽在4月刊。
5247 0
FineBI 连接阿里云 Maxcompute
概述 MaxCompute Lightning是MaxCompute产品的交互式查询服务,支持以PostgreSQL协议及语法连接访问Maxcompute项目,让您使用熟悉的工具以标准 SQL查询分析MaxCompute项目中的数据,快速获取查询结果。
796 0
阿里云 MaxCompute 计算长尾问题优化 2
阿里云 MaxCompute 计算长尾问题优化 2
0 0
+关注
海清
阿里云数加培训讲师, 最擅长MaxCompute、大数据开发套件。
文章
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
相关文档: MaxCompute
文章排行榜
最热
最新
相关电子书
更多
ECS块存储产品 全面解析
立即下载
阿里云MaxCompute百问百答
立即下载
ECS 计算与存储分离架构实践
立即下载