使用 top instance 命令查看运行中 MaxCompute 作业

简介: 我们都知道,在 MaxCompute Console 里,可以使用下面的命令来列出运行完成的 instance 列表。show p|proc|processlist [from <yyyy-MM-dd>] [to <yyyy-MM-dd>] [-p <project>] [-limit <nu...

我们都知道,在 MaxCompute Console 里,可以使用下面的命令来列出运行完成的 instance 列表。

show p|proc|processlist [from <yyyy-MM-dd>] [to <yyyy-MM-dd>] [-p <project>] [-limit <number> | <number>] [-all]
ls|list instances [from <yyyy-MM-dd>] [to <yyyy-MM-dd>] [-p <project>] [-limit <number> | <number>] [-all]

但很多时候,我们希望可以找出当前**正在运行的 instance** 。 MaxCompute Console 新增了 top instance 命令来实现这个功能。(注意: MaxCompute Console 版本要 >= 0.28.0)

一个最简单的例子。
Snip20180302_24.png

从上图可以看到,当前 test_new_console_gcc 项目里有一个正在运行的 SQL 作业。
列出的作业信息包括:Instance ID、Owner、作业类型、作业开始时间、当前执行进度百分比、作业状态和详细进度、作业优先级、当前所占资源和作业总共使用的资源情况、作业排队的情况。

下面我们通过  help top;  命令来查看下这个命令的使用说明。

Usage: top instance [options];
       -p <project>                  specify the project
       -status <running|suspended>   specify the instance status
       -limit <number>               specify the maximum number of queueing instance to show, default 50
       -d [<delay>]                  auto refresh every <delay> seconds, default 3
       -all                          list all instances, not only yours

其中:
-p 参数用于指定 project,默认是当前project;
-status 参数用来对 instance status 做过滤,默认不做过滤;
-limit 参数指定显示的最大条数,默认为 50;
-d 参数用于打开自动刷新显示模式,并可以指定自动刷新的间隔,默认是 3秒, 可以使用  ctrl-c 退出该模式;
-all 参数表示列出 project 里所有正运行中 instance,包括其他用户的作业。

很多时候,我们的一个复杂 sql 需要跑很久,不可能一直守在电脑面前盯着。当我们回过头想再追踪这个作业时,就可以先使用  top instance  命令找到运行中的 instance,然后再运行  wait <instance_id>  命令来重新跟踪这个作业了。

很多时候,我们发现作业跑的很慢,是不是资源被占满了呢?我的作业排在第几位呢?当前有哪些作业在跑并且占了多少资源?这时,可以通过  top intance -all  命令来找到罪魁祸首 Instance,联系其 ProjectOwner 进行调整。 方法: Kill Instance

命令格式如下:
kill ; --instance_id:实例的唯一标识符。必须是状态为Running的实例的ID,否则抛异常

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
11月前
|
机器学习/深度学习 存储 算法
Java 大视界 -- Java 大数据在智能农业无人机植保作业路径规划与药效评估中的应用(165)
本文围绕 Java 大数据在智能农业无人机植保作业路径规划与药效评估中的应用展开,剖析作业现状与挑战,阐述技术原理及应用方法,结合案例与代码,给出具有实操性的解决方案。
Java 大视界 -- Java 大数据在智能农业无人机植保作业路径规划与药效评估中的应用(165)
|
消息中间件 分布式计算 大数据
大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
670 0
|
分布式计算 大数据 Java
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
346 1
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
476 4
|
SQL 分布式计算 大数据
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
535 2
|
消息中间件 监控 Java
大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
346 1
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
|
消息中间件 分布式计算 大数据
大数据-128 - Flink 并行度设置 细节详解 全局、作业、算子、Slot
大数据-128 - Flink 并行度设置 细节详解 全局、作业、算子、Slot
1371 0
|
分布式计算 资源调度 DataWorks
MaxCompute操作报错合集之出现“查询运行日志失败”的报错,一般是什么导致的
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
290 3

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute