上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况。
我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。
比如我写完一个sql脚本,编译成功
接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表、详情展示和分析区(执行计划图、时序图、分析等)
如上图,job执行失败:
- 界面底部RUN日志中打出具体的错误信息。
- 详情展示区默认显示执行计划图,可以看到子任务的依赖关系,双击每一个子任务节点图,可以展开更详细的信息。
- 即使是失败的job,也可以切换到分析tab查看具体结论,如本次执行,job有长尾。
可以点击具体的长尾节点查看该节点的长尾图进一步分析,相关长尾调优可以参考文档计算长尾调优。
修改好sql脚本,再执行,执行成功如下图:
成功的任务我们依然可以分析很多信息,比如查看那个任务task耗时热点:
点击下面的进度条可以回放整个job执行的过程
可以查看耗时最长的前10个节点
可以查看每个子任务执行过程所有fuxi instance各种I/O信息:
同样的可以看到分析信息,看是否还有可优化的点。
怎么样,这样看日志是不是感觉更容易理解了呢!
对了,MaxCompute Studio也有用户钉钉支持群: