MaxCompute资源管理—— 包年包月资源分时

简介: 2020年7月23日开始,MaxCompute 管家陆续对各个区域进行升级新版本,新版本支持的功能之一——分时配额,将支持对预留计算资源(预留CU)进行按时段切分,满足时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。

背景概述

在数据开发过程中,普遍有这样的场景:不同项目(开发、生产)对资源使用的时段不同,如数仓团队有离线生产project在夜间是计算高峰期,开发project和业务分析团队的project计算高峰在白天。即不同project在不同的时段对CU的消耗需求不同,日常峰谷时间段比较固定。

MaxCompute管家之前提供的自定义配额组,只能对配额进行二级切分,但无法进行时段切分,2020年7月23日开始,MaxCompute 管家陆续对各个区域进行升级新版本,新版本支持的功能之一——分时配额,将支持对预留计算资源(预留CU)进行按时段切分,满足时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。

本文将介绍如何进行分时配额,协助您更快上手使用分时配额功能,提高资源使用率。

注意事项

基本原则:

  • 只有包年包月的预留计算资源(预留CU)支持分时配置,非预留计算资源不支持分时。
  • 开启分时配置,是对当前region下所有配额组都开启,但默认quota组不支持编辑。
  • 配额组开启分时后,默认是一个时段(00:00:00—23:59:59),最多支持3个时间段,所有quota组分时都支持一个分时规则,即所有quota组都有一样的时间段。
  • 只支持整点分时,如0:00点—07:00,最后一个时段截止时刻必须为23:59:59。

开启分时后配额组设置注意事项:

  • 开启分时后,如果某个配额组不需要分时,那么每个时间段设置的最小/最大CU量都一样既可。
  • 同一个时间段,所有配额组预留CU最小值总和等于购买量。

关闭分时:

  • 如果发现当前的分时时段不合理或者根据业务需求需要调整,则再点击 设置分时 ,进入设置分时页面,点击“关闭分时”,此时分时功能关闭,各个配额组的预留CU量设置为当前时间点对应关闭前的时间段设置的CU量。

修改分时:

  • 目前不支持直接在原来的分时上修改分时时段,需要先“关闭分时”再“开启分时”进行新的分时配置,然后对应修改各个自定义配额则中预留CU每个时段的CU量。

使用案例

需求背景:北京region购买了包年包月预留计算资源100CU,数仓团队有生产、开发项目,业务团队有自助分析项目。

分析:生产项目计算高峰时间段0点-8点,CU使用量较高,其余时间会有小部分小时任务且时间上要求不是很高;开发项目计算高峰期在9点到23点,计算频次较高;自助分析项目计算高峰期子9点到23点,计算比较分散,但也有些固定周期调度任务需要保障。时间段分布比较固定,因此可以将配额切分2个时段‘00:00:00—08:00:00’、‘08:00:00—23:59:59’。生产、开发、自助分析项目对计算资源的需求量也各有差异,因此可以自定义2个配额组+默认配额组共3个配额组进行分配。

配额组设计:

时段1:代表时段‘00:00:00—08:00:00’
时段2:代表时段‘08:00:00—23:59:59’

配额组名称 时段1预留CU Min值 时段1预留CU Max值 时段2预留CU Min值 时段2预留CU Max值 备注
默认配额 80 100 20 100 做为生产配额
开发配额 10 10 30 50 时间段1预留一些CU防止需要临时开发测试,若空闲,默认配额请求超过80也可使用
自助分析配额 10 10 50 100 时间段1预留一些CU防止临时取数,若空闲,默认配额请求超过80也可使用

操作步骤:

  1. 进入MaxCompute管家页面。登录DataWorks控制台;在左侧导航栏,单击计算引擎列表 > MaxCompute;在计算引擎列表—MaxCompute页面上方选择您所在的区域;单击包年包月区域的CU管理,进入MaxCompute管家页面。
  2. 管家页面左侧导航点击配额,进入配额页面,点击“设置分时”,弹框中进行分时设置,输入好分时后点击“开启分时”。
    undefined
  3. 新建或者修改原有配额组,对每个配额组预留CU不同时段的Min和Max值进行设置,如“自助分析配额”组的设置。
    undefined

    设置完成后,列表上显示的各配额组预留CU的Min和Max值对应当前时段的值。
    
  4. 配额组设置好后,在项目列表中对应项目的“修改”操作,分别给生产、开发、自助分析项目关联对应的配额组。

总结

MaxCompute 管家支持的分时配额,可以友好的支持时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。您可以根据自己业务需求进行合理的设置,更多MaxCompute 管家使用请参考文档

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之maxcompute资源打开失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
2月前
|
SQL 分布式计算 监控
MaxCompute提供了一些工具以帮助您监控作业和资源使用情况。
【2月更文挑战第4天】MaxCompute提供了一些工具以帮助您监控作业和资源使用情况。
27 8
|
2月前
|
DataWorks 关系型数据库 MySQL
dataworks问题之数据源一直失败如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
33 2
|
1月前
|
数据采集 分布式计算 DataWorks
DataWorks常见问题之dataworks引用maxcompute资源失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
2月前
|
分布式计算 DataWorks NoSQL
MaxCompute资源问题之网络不通如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
34 2
|
2月前
|
DataWorks 关系型数据库 分布式数据库
dataworks数据集问题之数据中台报错如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
36 1
|
2月前
|
DataWorks API 数据安全/隐私保护
dataworks数据集问题之获取表列表失败如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
46 6
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
36 0

相关产品

  • 云原生大数据计算服务 MaxCompute