开发者学堂课程【SaaS 模式云数据仓库系列课程 —— 2021数仓必修课:MaxCompute 管家详解】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/55/detail/1050
MaxCompute 管家详解
目录:
一、背景速览
二、功能介绍
三、案例讲解
四、新功能预告
一、背景速览
●MaxCompute 管家是什么?
●为用户提供作业信息查看、资源消耗查看(涵盖CU资源和存储资源)、项目查看及调整、配额组增删改查等涉及日常。
MaxCompute 运维能力的管理平台
●支持哪些区域?
●全球共计18个区域,细节如右图展示
●支持哪些用户?
●购买了数加并购买 MaxCompute "包年包月"的用户(后期也会支持购买MaxCompute " 按量付费"的用户)
●是否支持英文版?
●是,页面右上角切换语言即可
背景速览
●登录入口一
●管理控制台
背景速览
●登录入口二
●数加控制台
二、功能介绍
---核心模块
>项目
>配额
>作业
功能介绍--项目
>基础信息
·可查看当前用户具备的预付费 project 的相关信息(包括∶项目名称、所属dataworks 工作空间、账号、配额组、已用存储、project默认预付费quota组调整);
功能介绍-- 配额
●配额组共有4个参数配置,概念如下∶
●预留 CU 最小配额
●单个 quota 组分配资源的下限
●预留 CU 最大配额
●单个 quota 组分配资源的上限
●非预留 CU 最大配额
●单个 quota 组可使用弹性资源的上限
●配额组标签
●标签主要是用于指定作业的配额组,如果您的包年包月资源组设置多个二级Quota组,可以在提交作业的时候,指定作业运行的 Quota 组,可以与 project 所属Quota 组不同。这样设置,能够更加灵活的设置和使用您的计算资源。
具体使用请参考官网 Quota Tag。
功能介绍 -- 配额
●CU 资源使用消耗趋势图(最近1小时、最近6小时、最近12小时、最近1天、最近1周)
●预留型 CU 资源使用消耗;
●非预留型 CU 资源使用消耗;
功能介绍-作业
●基础信息
●可查看当前用户指定配额组下所有作业情况(包括∶InstancelD、账号、项目名称、cpu使用占比(%)、内存使用占比(%)、提交时间、等待时长、运行时长、运行状态);(每2分钟采集1次)
配额规则
●预留 CU 最大配额
●配置规则∶单个子组的最大 CU 需小于等于默认资源组的最大 CU
●预留 CU 最小配额
●配置规则∶所有子组的最小 CU 之和须小于等于默认资源组的最小 CU
●非预留 CU 最大配额
配置规则∶所有子组的弹性最大 CU 之和须小于等于默认资源组的弹性最大 CU
●配额组标签
●命名规则∶ 配额组标签只允许使用字母、数字、下划线,不同配额组对应标签不要重名,否则作业指定此重名标签,将会随机调度到其中一个配额组;
●调度规则∶如果提交作业时设置的 Quota Tag 和某个配额组属性中的标签相等,这个作业就会被优先调度到这个配额组中,否则会被调度到所属 Project 指定的配额组中,详细信息请参见官网 Quota Tag 描述;
三、案例讲解
资源分配1
●拿到资源如何配置?
>共有预留计算资源 60CU,非预留计算资源 30CU ,由两个部门使用,可以按照如下方式分配∶
>【资源组独享】
>【预留最大CU,预留最小 CU,非预留最大 CU】∶A组【30,30,10】、B组【20,20,10】
>这么划分意味着当A组哪怕没有资源使用时,B组资源最多也只能用到20(由最大CU 限制)+10(由弹性最大 CU限制)的资源;
>【资源组共享】
>【预留最大CU,预留最小 CU,非预留最大 CU】∶ A组【60,20,10】、B组【60,30,10】
>这么划分意味着当 A 组和 B 组资源均紧张时,A 组可以用到20+10的资源,B组可以用到30+10的资源。当 A 组没有作业时,B 组最多可以用到60+10的资源;反之当B组没有资源时,A 组可以用到60+10的资源
>存在一种情况,刚开始 B 组没有作业,A 组分配了60+10的资源,当B组作业大量提交时,需要等待调度器通知 A 组释放出20的资源后,B组再开始分配资源;
资源分配2
●作业慢或资源不足怎么办?
>优化作业代码∶
>可通过快照作业的资源使用情况得到top消耗的作业、并尝试进行优化,可参考官网最佳实践来做些调整
●更换调度策略∶
>若单个配额组资源不足,但其他配额组有足够空闲资源时,建议使用quota tag,可调度到闲置配额组内进行资源周转,或者调整内部配额组之间的资源上下限,增加资源使用的灵活性,或者通过切换project对应的quota组的方式进行重组式管理,前提是取决于业务情况
●扩容∶
>若整体资源不足,且其他待跑任务无重保诉求,建议走非预留扩容;
>若整体资源不足,且有重保任务持续新增时,建议走预留型扩容并已独享型模式配置或后付费采买;
四、新功能预告
●资源概览页
>展示用户对应的"包年包月"付费模式下的整体CU使用量、CU资源使用趋势、存储资源使用趋势;
●历史作业快照
>支持按时间搜索历史作业快照,便于对历史作业的资源使用情况的追述;
●终止作业
>支持作业 owner 小批量终止作业,同时支持终止作业历史追述
●分时配额
>支持用户对不同配额组进行分时段的动态配额调整,便于用户对周期性任务调度的有效管理;
其他
>使用手册
>官网→>大数据计算服务 ·MaxCompute->文档&SDK->MaxCompute 管家







