MaxCompute资源管理—— 包年包月资源分时

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 2020年7月23日开始,MaxCompute 管家陆续对各个区域进行升级新版本,新版本支持的功能之一——分时配额,将支持对预留计算资源(预留CU)进行按时段切分,满足时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。

背景概述

在数据开发过程中,普遍有这样的场景:不同项目(开发、生产)对资源使用的时段不同,如数仓团队有离线生产project在夜间是计算高峰期,开发project和业务分析团队的project计算高峰在白天。即不同project在不同的时段对CU的消耗需求不同,日常峰谷时间段比较固定。

MaxCompute管家之前提供的自定义配额组,只能对配额进行二级切分,但无法进行时段切分,2020年7月23日开始,MaxCompute 管家陆续对各个区域进行升级新版本,新版本支持的功能之一——分时配额,将支持对预留计算资源(预留CU)进行按时段切分,满足时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。

本文将介绍如何进行分时配额,协助您更快上手使用分时配额功能,提高资源使用率。

注意事项

基本原则:

  • 只有包年包月的预留计算资源(预留CU)支持分时配置,非预留计算资源不支持分时。
  • 开启分时配置,是对当前region下所有配额组都开启,但默认quota组不支持编辑。
  • 配额组开启分时后,默认是一个时段(00:00:00—23:59:59),最多支持3个时间段,所有quota组分时都支持一个分时规则,即所有quota组都有一样的时间段。
  • 只支持整点分时,如0:00点—07:00,最后一个时段截止时刻必须为23:59:59。

开启分时后配额组设置注意事项:

  • 开启分时后,如果某个配额组不需要分时,那么每个时间段设置的最小/最大CU量都一样既可。
  • 同一个时间段,所有配额组预留CU最小值总和等于购买量。

关闭分时:

  • 如果发现当前的分时时段不合理或者根据业务需求需要调整,则再点击 设置分时 ,进入设置分时页面,点击“关闭分时”,此时分时功能关闭,各个配额组的预留CU量设置为当前时间点对应关闭前的时间段设置的CU量。

修改分时:

  • 目前不支持直接在原来的分时上修改分时时段,需要先“关闭分时”再“开启分时”进行新的分时配置,然后对应修改各个自定义配额则中预留CU每个时段的CU量。

使用案例

需求背景:北京region购买了包年包月预留计算资源100CU,数仓团队有生产、开发项目,业务团队有自助分析项目。

分析:生产项目计算高峰时间段0点-8点,CU使用量较高,其余时间会有小部分小时任务且时间上要求不是很高;开发项目计算高峰期在9点到23点,计算频次较高;自助分析项目计算高峰期子9点到23点,计算比较分散,但也有些固定周期调度任务需要保障。时间段分布比较固定,因此可以将配额切分2个时段‘00:00:00—08:00:00’、‘08:00:00—23:59:59’。生产、开发、自助分析项目对计算资源的需求量也各有差异,因此可以自定义2个配额组+默认配额组共3个配额组进行分配。

配额组设计:

时段1:代表时段‘00:00:00—08:00:00’
时段2:代表时段‘08:00:00—23:59:59’

配额组名称 时段1预留CU Min值 时段1预留CU Max值 时段2预留CU Min值 时段2预留CU Max值 备注
默认配额 80 100 20 100 做为生产配额
开发配额 10 10 30 50 时间段1预留一些CU防止需要临时开发测试,若空闲,默认配额请求超过80也可使用
自助分析配额 10 10 50 100 时间段1预留一些CU防止临时取数,若空闲,默认配额请求超过80也可使用

操作步骤:

  1. 进入MaxCompute管家页面。登录DataWorks控制台;在左侧导航栏,单击计算引擎列表 > MaxCompute;在计算引擎列表—MaxCompute页面上方选择您所在的区域;单击包年包月区域的CU管理,进入MaxCompute管家页面。
  2. 管家页面左侧导航点击配额,进入配额页面,点击“设置分时”,弹框中进行分时设置,输入好分时后点击“开启分时”。
    undefined
  3. 新建或者修改原有配额组,对每个配额组预留CU不同时段的Min和Max值进行设置,如“自助分析配额”组的设置。
    undefined

    设置完成后,列表上显示的各配额组预留CU的Min和Max值对应当前时段的值。
    
  4. 配额组设置好后,在项目列表中对应项目的“修改”操作,分别给生产、开发、自助分析项目关联对应的配额组。

总结

MaxCompute 管家支持的分时配额,可以友好的支持时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。您可以根据自己业务需求进行合理的设置,更多MaxCompute 管家使用请参考文档

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
3月前
|
资源调度 安全 Java
Java 大数据在智能教育在线实验室设备管理与实验资源优化配置中的应用实践
本文探讨Java大数据技术在智能教育在线实验室设备管理与资源优化中的应用。通过统一接入异构设备、构建四层实时处理管道及安全防护双体系,显著提升设备利用率与实验效率。某“双一流”高校实践显示,设备利用率从41%升至89%,等待时间缩短78%。该方案降低管理成本,为教育数字化转型提供技术支持。
87 1
|
2月前
|
机器学习/深度学习 Java 大数据
Java 大视界 -- Java 大数据在智能政务公共资源交易数据分析与监管中的应用(202)
本篇文章深入探讨了 Java 大数据在智能政务公共资源交易监管中的创新应用。通过构建高效的数据采集、智能分析与可视化决策系统,Java 大数据技术成功破解了传统监管中的数据孤岛、效率低下和监管滞后等难题,为公共资源交易打造了“智慧卫士”,助力政务监管迈向智能化、精准化新时代。
|
7月前
|
人工智能 DataWorks 大数据
大数据AI一体化开发再加速:DataWorks 支持GPU类型资源
大数据开发治理平台 DataWorks 的Serverless资源组支持GPU资源类型,以免运维、按需付费、弹性伸缩的Serverless架构,将大数据处理与AI开发能力无缝融合。面向大数据&AI协同开发场景,DataWorks提供了交互式开发和分析工具Notebook。开发者在创建个人开发环境时,可以选择GPU类型的资源作为Notebook运行环境,以支持进行高性能的计算工作。本教程将基于开源多模态大模型Qwen2-VL-2B-Instruct,介绍如何使用 DataWorks Notebook及LLaMA Factory训练框架完成文旅领域大模型的构建。
511 24
|
10月前
|
存储 大数据 Serverless
大数据增加分区优化资源使用
大数据增加分区优化资源使用
168 1
|
10月前
|
资源调度 监控 大数据
大数据计算资源管理
【10月更文挑战第25天】
375 4
|
资源调度 分布式计算 运维
Hadoop集群资源管理篇-资源调度器
详细介绍了Hadoop集群资源管理中的资源调度器,包括资源分配的概念、大数据运维工程师如何管理集群工作负载、资源调度器的背景、Hadoop提供的FIFO、容量调度器和公平调度器三种资源调度器的概述以及它们之间的对比。
350 4
|
图形学 数据可视化 开发者
超实用Unity Shader Graph教程:从零开始打造令人惊叹的游戏视觉特效,让你的作品瞬间高大上,附带示例代码与详细步骤解析!
【8月更文挑战第31天】Unity Shader Graph 是 Unity 引擎中的强大工具,通过可视化编程帮助开发者轻松创建复杂且炫酷的视觉效果。本文将指导你使用 Shader Graph 实现三种效果:彩虹色渐变着色器、动态光效和水波纹效果。首先确保安装最新版 Unity 并启用 Shader Graph。创建新材质和着色器图谱后,利用节点库中的预定义节点,在编辑区连接节点定义着色器行为。
1116 1
|
11月前
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
312 0
|
2月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
76 4
|
2月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
167 3

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute