MaxCompute 管家详解 | 学习笔记

简介: 快速学习 MaxCompute 管家详解

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课:MaxCompute  管家详解】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/55/detail/1050


MaxCompute 管家详解  


目录:

一、背景速览

二、功能介绍

三、案例讲解

四、新功能预告


一、背景速览

●MaxCompute  管家是什么?

●为用户提供作业信息查看、资源消耗查看(涵盖CU资源和存储资源)、项目查看及调整、配额组增删改查等涉及日常。

MaxCompute  运维能力的管理平台

●支持哪些区域?

●全球共计18个区域,细节如右图展示

●支持哪些用户?

●购买了数加并购买 MaxCompute  "包年包月"的用户(后期也会支持购买MaxCompute  " 按量付费"的用户)

●是否支持英文版?

●是,页面右上角切换语言即可

背景速览

●登录入口一

●管理控制台

image.png

背景速览

●登录入口二

●数加控制台

image.png

image.png



二、功能介绍

---核心模块

>项目

>配额

>作业

功能介绍--项目

>基础信息

·可查看当前用户具备的预付费  project  的相关信息(包括∶项目名称、所属dataworks  工作空间、账号、配额组、已用存储、project默认预付费quota组调整);

image.png

功能介绍-- 配额

●配额组共有4个参数配置,概念如下∶

●预留 CU  最小配额

●单个 quota  组分配资源的下限

●预留  CU  最大配额

●单个  quota  组分配资源的上限

●非预留  CU  最大配额

●单个  quota  组可使用弹性资源的上限

●配额组标签

●标签主要是用于指定作业的配额组,如果您的包年包月资源组设置多个二级Quota组,可以在提交作业的时候,指定作业运行的  Quota  组,可以与  project  所属Quota  组不同。这样设置,能够更加灵活的设置和使用您的计算资源。

具体使用请参考官网  Quota Tag。

image.png

功能介绍 -- 配额

●CU  资源使用消耗趋势图(最近1小时、最近6小时、最近12小时、最近1天、最近1周)

●预留型  CU  资源使用消耗;

●非预留型 CU  资源使用消耗;

image.png

功能介绍-作业

●基础信息

●可查看当前用户指定配额组下所有作业情况(包括∶InstancelD、账号、项目名称、cpu使用占比(%)、内存使用占比(%)、提交时间、等待时长、运行时长、运行状态);(每2分钟采集1次)

image.png

配额规则

●预留  CU  最大配额

●配置规则∶单个子组的最大  CU  需小于等于默认资源组的最大  CU  

●预留  CU  最小配额

●配置规则∶所有子组的最小  CU  之和须小于等于默认资源组的最小  CU  

●非预留  CU  最大配额

配置规则∶所有子组的弹性最大  CU  之和须小于等于默认资源组的弹性最大  CU

●配额组标签

●命名规则∶ 配额组标签只允许使用字母、数字、下划线,不同配额组对应标签不要重名,否则作业指定此重名标签,将会随机调度到其中一个配额组;

●调度规则∶如果提交作业时设置的  Quota Tag  和某个配额组属性中的标签相等,这个作业就会被优先调度到这个配额组中,否则会被调度到所属  Project  指定的配额组中,详细信息请参见官网  Quota Tag  描述;

三、案例讲解

资源分配1  

●拿到资源如何配置?

>共有预留计算资源  60CU,非预留计算资源  30CU  ,由两个部门使用,可以按照如下方式分配∶

>【资源组独享】

>【预留最大CU,预留最小  CU,非预留最大  CU】∶A组【30,30,10】、B组【20,20,10】

>这么划分意味着当A组哪怕没有资源使用时,B组资源最多也只能用到20(由最大CU  限制)+10(由弹性最大 CU限制)的资源;

>【资源组共享】

>【预留最大CU,预留最小  CU,非预留最大  CU】∶ A组【60,20,10】、B组【60,30,10】

>这么划分意味着当 A 组和 B 组资源均紧张时,A 组可以用到20+10的资源,B组可以用到30+10的资源。当  A 组没有作业时,B 组最多可以用到60+10的资源;反之当B组没有资源时,A  组可以用到60+10的资源

>存在一种情况,刚开始 B 组没有作业,A  组分配了60+10的资源,当B组作业大量提交时,需要等待调度器通知 A  组释放出20的资源后,B组再开始分配资源;

资源分配2  

●作业慢或资源不足怎么办?

>优化作业代码∶

>可通过快照作业的资源使用情况得到top消耗的作业、并尝试进行优化,可参考官网最佳实践来做些调整

●更换调度策略∶

>若单个配额组资源不足,但其他配额组有足够空闲资源时,建议使用quota tag,可调度到闲置配额组内进行资源周转,或者调整内部配额组之间的资源上下限,增加资源使用的灵活性,或者通过切换project对应的quota组的方式进行重组式管理,前提是取决于业务情况

●扩容∶

>若整体资源不足,且其他待跑任务无重保诉求,建议走非预留扩容;

>若整体资源不足,且有重保任务持续新增时,建议走预留型扩容并已独享型模式配置或后付费采买;

四、新功能预告

●资源概览页  

>展示用户对应的"包年包月"付费模式下的整体CU使用量、CU资源使用趋势、存储资源使用趋势;

●历史作业快照

>支持按时间搜索历史作业快照,便于对历史作业的资源使用情况的追述;

●终止作业

>支持作业  owner  小批量终止作业,同时支持终止作业历史追述

●分时配额

>支持用户对不同配额组进行分时段的动态配额调整,便于用户对周期性任务调度的有效管理;

其他

>使用手册

>官网→>大数据计算服务  ·MaxCompute->文档&SDK->MaxCompute  管家

image.png

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
SQL 分布式计算 大数据
Python+大数据学习笔记(一)
Python+大数据学习笔记(一)
318 0
|
大数据 Linux 网络安全
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
561 0
|
SQL 分布式计算 运维
开源大数据 OLAP 引擎最佳实践 | 学习笔记(二)
快速学习开源大数据 OLAP 引擎最佳实践
开源大数据 OLAP 引擎最佳实践 | 学习笔记(二)
|
Java 数据库连接 数据库
Java大数据开发工程师__Spring学习笔记(待更新)
Java大数据开发工程师__Spring学习笔记(待更新)
241 1
|
关系型数据库 MySQL 大数据
大数据开发工程师基本功修炼之Linux学习笔记(四)
大数据开发工程师基本功修炼之Linux学习笔记(四)
382 1
|
canal 弹性计算 分布式计算
如何将 PolarDB-X 与大数据等系统互通|学习笔记(一)
快速学习如何将 PolarDB-X 与大数据等系统互通
如何将 PolarDB-X 与大数据等系统互通|学习笔记(一)
|
存储 分布式计算 DataWorks
持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护 | 学习笔记(三)
快速学习持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护
持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护 | 学习笔记(三)
|
大数据 Linux 开发工具
大数据开发工程师基本功修炼之Linux学习笔记(三)
大数据开发工程师基本功修炼之Linux学习笔记(三)
329 0
|
大数据 Java Linux
大数据开发工程师基本功修炼之Linux学习笔记(二)
大数据开发工程师基本功修炼之Linux学习笔记(二)
366 0
|
大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第14章大数据与数据科学篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第14章大数据与数据科学篇
420 0