MaxCompute预付费资源监控工具-CU管家使用教程

简介: MaxCompute管家使用前提 1、用户购买了 MaxCompute 预付费CU资源,60CU以上的用户(备注:CU过小无法发挥计算资源及管家的优势)。 2、支持区域,MaxCompute 华北2北京、华东2上海、华南1深圳 3个Region的用户。

MaxCompute管家使用前提

1、用户购买了 MaxCompute 预付费CU资源,60CU以上的用户(备注:CU过小无法发挥计算资源及管家的优势)。
2、支持区域,MaxCompute 华北2北京、华东2上海、华南1深圳 3个Region的用户。

系统状态

通过系统状态了解CU计算资源和存储的消耗情况, 如图所示:
69b63beb-a2c9-4ea9-b6c6-dff6c2d983ea.png
上图①可以选择所查看的资源组,根据选择的资源组,展示当前资源组的消耗信息和当前存储量。
上图②可以选择查看所选资源组的时间区间,选择的区间不同,资源组数据展示的粒度不同(计算资源CU每6分钟采集一次/存储每一小时采集一次)。

Quota设置

Quota是指资源组。举个例子,有用户购买了100CU,表示他全部 Quota 的额度是100CU。该用户可以通过大数据管家来新建 Quota,这样就可以对 Quota 进行资源分配。运维人员可以很方便的将各个项目的资源隔离,保证重要项目的计算资源充沛。
a333c401-9d49-4605-8145-563fc178faa2.png
新建Quota:新建一个 Quota 组,建好后可以通过移动项目功能,来将项目移动到 Quota 下。创建的 Quota 可以删除,但若当前 Quota 下有项目,则无法删除。
修改CU消耗:建好的 Quota 支持修改CU最小消耗值。
移动项目:支持将当前 Quota 下的项目移动至其他 Quota 下,新建的 Quota 就可以通过这个移动项目这个功能来做到资源隔离。
删除:支持删除 Quota 组,若当前 Quota 下有项目,则无法删除。
注意:计算资源CU升级和降配时,默认Quota组Max、Min会相应变化,其他组不会改变配置。如果降配时,剩余默认Min组小于降配额度时,会发生降配失败。
Quota组配置示例,比如60CU,两个部门使用。
资源组独享,【MaxCU,MinCU】,A组【40,40】,B组【20,20】
资源组倾斜, 【MaxCU,MinCU】,A组【60,40】,B组【40,20】

Instance查询

通过计算任务监控,了解当前任务排队状态,资源被哪些任务抢占,然后做分析或 Kill,详细如下图所示:
5aef4f8b-0ba1-41ad-bacf-cb975c3c38cc.png
可以根据 Quota 组名称和项目名称两个维度来筛选,精确搜索。
InstanceId:每一个 MaxCompute任务都会有一个 Instance,通过点击 InstanceId 可以跳转到Logview页面,查看具体的任务进度,查看Logview的方法请参考: Logview查看
账号:运行这个MaxCompute任务的操作人,可以根据这个账号信息找到任务所属的责任人,如果该任务占用太多资源而影响其他任务的运行,可以与该责任人联系,是否 kill 掉该 Instance,Kill 掉 Instance 的方法请参考: 实例操作
MaxCompute Project:当前 Instance 所属的项目名称。
cpu消耗: 当前quota组实际使用的CPU资源比例。
memory消耗: 当前quota组实际使用的内存资源 比例。
提交时间:当前 Instance 任务的提交时间。
等待时间:等待运行资源的时长。
操作:可以在此处查看当前 Instance 任务的状态,此处会显示当前状态和历史状态。


 华北2(北京)Region MaxCompute购买地址:https://common-buy.aliyun.com/?commodityCode=odpsplus#/buy


欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号: 11782920)进行咨询,群二维码如下:

IMG_3471

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
14天前
|
分布式计算 DataWorks Java
DataWorks操作报错合集之在使用MaxCompute的Java SDK创建函数时,出现找不到文件资源的情况,是BUG吗
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
26 0
|
1月前
|
SQL 分布式计算 数据可视化
Tableau与大数据:可视化工具在大数据分析中的应用
【4月更文挑战第8天】Tableau是一款领先的数据可视化工具,擅长于大数据分析,提供广泛的数据连接器,支持多源整合。它与Hadoop、Spark等深度集成,实现高效大数据处理。Tableau的拖拽式界面和交互式分析功能使得非技术人员也能轻松探索数据。在实战中,Tableau用于业务监控、数据storytelling和自助式分析,推动数据民主化,提升决策效率。未来,Tableau将持续创新,扩展生态系统,并保障数据安全与合规性,助力企业最大化数据价值。
40 0
|
2月前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之maxcompute资源打开失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
3月前
|
SQL 分布式计算 监控
MaxCompute提供了一些工具以帮助您监控作业和资源使用情况。
【2月更文挑战第4天】MaxCompute提供了一些工具以帮助您监控作业和资源使用情况。
32 8
|
15天前
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之要增加MaxCompute的自定义资源,该怎么操作
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
14天前
|
分布式计算 DataWorks Java
DataWorks产品使用合集之DataWorks maxcompute的自定义资源增加如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
22 0
|
14天前
|
分布式计算 DataWorks Java
DataWorks产品使用合集之DataWorks maxcompute的自定义资源增加如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
21 0
|
14天前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之DataWorks创建 MaxCompute 资源背景信息如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
26 5
|
29天前
|
数据可视化 Linux Apache
CentOS部署Apache Superset大数据可视化BI分析工具并实现无公网IP远程访问
CentOS部署Apache Superset大数据可视化BI分析工具并实现无公网IP远程访问
|
1月前
|
机器学习/深度学习 分布式计算 大数据
一文读懂Apache Beam:统一的大数据处理模型与工具
【4月更文挑战第8天】Apache Beam是开源的统一大数据处理模型,提供抽象化编程模型,支持批处理和流处理。它提倡"一次编写,到处运行",可在多种引擎(如Spark、Dataflow、Flink)上运行。Beam的核心特性包括抽象化概念(PCollection、PTransform和PipelineRunner)、灵活性(支持多种数据源和转换)和高效执行。它广泛应用在ETL、实时流处理、机器学习和大数据仓库场景,助力开发者轻松应对数据处理挑战。
25 1

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute