MaxCompute预付费资源监控工具-CU管家使用教程

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: MaxCompute管家使用前提 1、用户购买了 MaxCompute 预付费CU资源,60CU以上的用户(备注:CU过小无法发挥计算资源及管家的优势)。 2、支持区域,MaxCompute 华北2北京、华东2上海、华南1深圳 3个Region的用户。

MaxCompute管家使用前提

1、用户购买了 MaxCompute 预付费CU资源,60CU以上的用户(备注:CU过小无法发挥计算资源及管家的优势)。
2、支持区域,MaxCompute 华北2北京、华东2上海、华南1深圳 3个Region的用户。

系统状态

通过系统状态了解CU计算资源和存储的消耗情况, 如图所示:
上图①可以选择所查看的资源组,根据选择的资源组,展示当前资源组的消耗信息和当前存储量。
上图②可以选择查看所选资源组的时间区间,选择的区间不同,资源组数据展示的粒度不同(计算资源CU每6分钟采集一次/存储每一小时采集一次)。

Quota设置

Quota是指资源组。举个例子,有用户购买了100CU,表示他全部 Quota 的额度是100CU。该用户可以通过大数据管家来新建 Quota,这样就可以对 Quota 进行资源分配。运维人员可以很方便的将各个项目的资源隔离,保证重要项目的计算资源充沛。
新建Quota:新建一个 Quota 组,建好后可以通过移动项目功能,来将项目移动到 Quota 下。创建的 Quota 可以删除,但若当前 Quota 下有项目,则无法删除。
修改CU消耗:建好的 Quota 支持修改CU最小消耗值。
移动项目:支持将当前 Quota 下的项目移动至其他 Quota 下,新建的 Quota 就可以通过这个移动项目这个功能来做到资源隔离。
删除:支持删除 Quota 组,若当前 Quota 下有项目,则无法删除。
注意:计算资源CU升级和降配时,默认Quota组Max、Min会相应变化,其他组不会改变配置。如果降配时,剩余默认Min组小于降配额度时,会发生降配失败。
Quota组配置示例,比如60CU,两个部门使用。
资源组独享,【MaxCU,MinCU】,A组【40,40】,B组【20,20】
资源组倾斜, 【MaxCU,MinCU】,A组【60,40】,B组【40,20】

Instance查询

通过计算任务监控,了解当前任务排队状态,资源被哪些任务抢占,然后做分析或 Kill,详细如下图所示:
可以根据 Quota 组名称和项目名称两个维度来筛选,精确搜索。
InstanceId:每一个 MaxCompute任务都会有一个 Instance,通过点击 InstanceId 可以跳转到Logview页面,查看具体的任务进度,查看Logview的方法请参考: Logview查看
账号:运行这个MaxCompute任务的操作人,可以根据这个账号信息找到任务所属的责任人,如果该任务占用太多资源而影响其他任务的运行,可以与该责任人联系,是否 kill 掉该 Instance,Kill 掉 Instance 的方法请参考: 实例操作
MaxCompute Project:当前 Instance 所属的项目名称。
cpu消耗: 当前quota组实际使用的CPU资源比例。
memory消耗: 当前quota组实际使用的内存资源 比例。
提交时间:当前 Instance 任务的提交时间。
等待时间:等待运行资源的时长。
操作:可以在此处查看当前 Instance 任务的状态,此处会显示当前状态和历史状态。


 华北2(北京)Region MaxCompute购买地址:https://common-buy.aliyun.com/?commodityCode=odpsplus#/buy


欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号: 11782920)进行咨询,群二维码如下:

IMG_3471

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
存储 分布式计算 数据可视化
大数据常用技术与工具
【10月更文挑战第16天】
110 4
|
3月前
|
分布式计算 DataWorks 关系型数据库
MaxCompute 生态系统中的数据集成工具
【8月更文第31天】在大数据时代,数据集成对于构建高效的数据处理流水线至关重要。阿里云的 MaxCompute 是一个用于处理大规模数据集的服务平台,它提供了强大的计算能力和丰富的生态系统工具来帮助用户管理和处理数据。本文将详细介绍如何使用 DataWorks 这样的工具将 MaxCompute 整合到整个数据处理流程中,以便更有效地管理数据生命周期。
130 0
|
23天前
|
机器学习/深度学习 搜索推荐 大数据
大数据与教育:学生表现分析的工具
【10月更文挑战第31天】在数字化时代,大数据成为改善教育质量的重要工具。本文探讨了大数据在学生表现分析中的应用,介绍学习管理系统、智能评估系统、情感分析技术和学习路径优化等工具,帮助教育者更好地理解学生需求,制定个性化教学策略,提升教学效果。尽管面临数据隐私等挑战,大数据仍为教育创新带来巨大机遇。
|
1月前
|
存储 分布式计算 大数据
大数据的工具都有哪些?
【10月更文挑战第9天】大数据的工具都有哪些?
77 1
|
2月前
|
存储 分布式计算 Hadoop
大数据分析的工具
大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,如杂志,报纸,文章。大数据产生的其他例子包括购买交易记录,网络日志,病历,军事监控,视频和图像档案,及大型电子商务。
44 8
|
1月前
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
100 0
|
1月前
|
分布式计算 Hadoop 数据挖掘
6个常用大数据分析工具集锦
6个常用大数据分析工具集锦
54 0
|
2月前
|
分布式计算 Hadoop 大数据
28个大数据的高级工具汇总
文章汇总了28种大数据高级工具,并对Hadoop、Spark、Storm等关键技术进行了详细介绍,同时还提供了获取大数据集的多个资源链接。
72 0
|
3月前
|
图形学 数据可视化 开发者
超实用Unity Shader Graph教程:从零开始打造令人惊叹的游戏视觉特效,让你的作品瞬间高大上,附带示例代码与详细步骤解析!
【8月更文挑战第31天】Unity Shader Graph 是 Unity 引擎中的强大工具,通过可视化编程帮助开发者轻松创建复杂且炫酷的视觉效果。本文将指导你使用 Shader Graph 实现三种效果:彩虹色渐变着色器、动态光效和水波纹效果。首先确保安装最新版 Unity 并启用 Shader Graph。创建新材质和着色器图谱后,利用节点库中的预定义节点,在编辑区连接节点定义着色器行为。
262 0
|
3月前
|
资源调度 分布式计算 Hadoop
揭秘Hadoop Yarn背后的秘密!它是如何化身‘资源大师’,让大数据处理秒变高效大戏的?
【8月更文挑战第24天】在大数据领域,Hadoop Yarn(另一种资源协调者)作为Hadoop生态的核心组件,扮演着关键角色。Yarn通过其ResourceManager、NodeManager、ApplicationMaster及Container等组件,实现了集群资源的有效管理和作业调度。当MapReduce任务提交时,Yarn不仅高效分配所需资源,还能确保任务按序执行。无论是处理Map阶段还是Reduce阶段的数据,Yarn都能优化资源配置,保障任务流畅运行。此外,Yarn还在Spark等框架中展现出灵活性,支持不同模式下的作业执行。未来,Yarn将持续助力大数据技术的发展与创新。
60 2

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 下一篇
    无影云桌面