在使用MaxCompute的时候,很多同学会关注当前项目有多少任务在执行,哪些任务耗时长,哪些任务已经完成,并且能通过任务的logview来分析任务耗时长的原因。
ofo的同学选择自己搭建任务管理平台通过sdk函数获取MaxCompute 相关job信息进行管理。如《MaxCompute的任务状态和多任务执行》所分享。
其他的没有精力自己搭建平台,可以通过show p -all;
命令查看所有job,再通过wait instanceid;
查看这个job的logview,最后通过logview再查看具体的执行日志。如《如何在客户端上追踪一个任务信息》所介绍。
今天我要分享的是通过MaxCompute Studio可以可视化查看项目想的所有job并分析运行情况。具体操作如下:
- 查看某个项目下,过去24小时的所有job列表,并查看那些job耗时最长。
进入Studio的job explorer选项卡,选择需要查看的项目(该项目链接必须已经配置好,可以参考《项目空间连接管理》);状态选择’全部作业‘;提交者选择’任何人‘(项目owner肯定有权限,其他同学有project的list权限也可以否则只能看自己提交的job):
在查询结果列表中,点击“总时长”进行高到低排序既可得出上图列表。
注意,界面最多显示满足条件的前1000条记录。
假如只想看正在活动的作业,可以过滤状态:
假如还想看更长久的作业,可以过滤日期:
- 查看耗时最长的job的具体运行情况。
可以直接双击查询列表中总时长按高到低排列后时长最高的job,既可打开该作业的详情显示区。
注意,如果job已经超过7天,详情中只能查看基本的一些基本信息包括脚本信息。
在作业详情显示区,如果该job没超过7天,那么可以查看详细的执行过程日志,具体分析操作参考可以上一篇的分享《MaxCompute Studio使用心得系列3——可视化分析作业运行》。
假如你查看的是running状态的job详情,还可以进行kill操作非常方便。
- 如果从其他途径知道了某个logview地址,也可以通过Studio直接打开这个logview进行分析:
好了,想可视化查看所有job以及job的具体运行信息,就分享到这。若能通过instance id搜索想看的job,以及通过脚本内容关键字搜索哪些job执行过这些内容就更好了!