背景概述
在数据开发过程中,普遍有这样的场景:不同项目(开发、生产)对资源使用的时段不同,如数仓团队有离线生产project在夜间是计算高峰期,开发project和业务分析团队的project计算高峰在白天。即不同project在不同的时段对CU的消耗需求不同,日常峰谷时间段比较固定。
MaxCompute管家之前提供的自定义配额组,只能对配额进行二级切分,但无法进行时段切分,2020年7月23日开始,MaxCompute 管家陆续对各个区域进行升级新版本,新版本支持的功能之一——分时配额,将支持对预留计算资源(预留CU)进行按时段切分,满足时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。
本文将介绍如何进行分时配额,协助您更快上手使用分时配额功能,提高资源使用率。
注意事项
基本原则:
- 只有包年包月的预留计算资源(预留CU)支持分时配置,非预留计算资源不支持分时。
- 开启分时配置,是对当前region下所有配额组都开启,但默认quota组不支持编辑。
- 配额组开启分时后,默认是一个时段(00:00:00—23:59:59),最多支持3个时间段,所有quota组分时都支持一个分时规则,即所有quota组都有一样的时间段。
- 只支持整点分时,如0:00点—07:00,最后一个时段截止时刻必须为23:59:59。
开启分时后配额组设置注意事项:
- 开启分时后,如果某个配额组不需要分时,那么每个时间段设置的最小/最大CU量都一样既可。
- 同一个时间段,所有配额组预留CU最小值总和等于购买量。
关闭分时:
- 如果发现当前的分时时段不合理或者根据业务需求需要调整,则再点击 设置分时 ,进入设置分时页面,点击“关闭分时”,此时分时功能关闭,各个配额组的预留CU量设置为当前时间点对应关闭前的时间段设置的CU量。
修改分时:
- 目前不支持直接在原来的分时上修改分时时段,需要先“关闭分时”再“开启分时”进行新的分时配置,然后对应修改各个自定义配额则中预留CU每个时段的CU量。
使用案例
需求背景:北京region购买了包年包月预留计算资源100CU,数仓团队有生产、开发项目,业务团队有自助分析项目。
分析:生产项目计算高峰时间段0点-8点,CU使用量较高,其余时间会有小部分小时任务且时间上要求不是很高;开发项目计算高峰期在9点到23点,计算频次较高;自助分析项目计算高峰期子9点到23点,计算比较分散,但也有些固定周期调度任务需要保障。时间段分布比较固定,因此可以将配额切分2个时段‘00:00:00—08:00:00’、‘08:00:00—23:59:59’。生产、开发、自助分析项目对计算资源的需求量也各有差异,因此可以自定义2个配额组+默认配额组共3个配额组进行分配。
配额组设计:
时段1:代表时段‘00:00:00—08:00:00’
时段2:代表时段‘08:00:00—23:59:59’
配额组名称 | 时段1预留CU Min值 | 时段1预留CU Max值 | 时段2预留CU Min值 | 时段2预留CU Max值 | 备注 |
---|---|---|---|---|---|
默认配额 | 80 | 100 | 20 | 100 | 做为生产配额 |
开发配额 | 10 | 10 | 30 | 50 | 时间段1预留一些CU防止需要临时开发测试,若空闲,默认配额请求超过80也可使用 |
自助分析配额 | 10 | 10 | 50 | 100 | 时间段1预留一些CU防止临时取数,若空闲,默认配额请求超过80也可使用 |
操作步骤:
- 进入MaxCompute管家页面。登录DataWorks控制台;在左侧导航栏,单击计算引擎列表 > MaxCompute;在计算引擎列表—MaxCompute页面上方选择您所在的区域;单击包年包月区域的CU管理,进入MaxCompute管家页面。
- 管家页面左侧导航点击配额,进入配额页面,点击“设置分时”,弹框中进行分时设置,输入好分时后点击“开启分时”。
-
新建或者修改原有配额组,对每个配额组预留CU不同时段的Min和Max值进行设置,如“自助分析配额”组的设置。
设置完成后,列表上显示的各配额组预留CU的Min和Max值对应当前时段的值。
- 配额组设置好后,在项目列表中对应项目的“修改”操作,分别给生产、开发、自助分析项目关联对应的配额组。
总结
MaxCompute 管家支持的分时配额,可以友好的支持时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。您可以根据自己业务需求进行合理的设置,更多MaxCompute 管家使用请参考文档