阿里云E-MapReduce 作业结果和日志查看

简介:

执行记录查看

1.登录[阿里云 E-MapReduce 控制台执行计划页面](https://emr.console.aliyun.com/?spm=5176.doc28104.2.1.LvBSu0#/schedule/region/cn-hangzhou
)。
2.单击相应执行计划条目右侧操作中的运行记录,即可进入执行记录页面。如下图所示:
screenshot

执行序列 ID: 本次执行记录的执行次数,表明了它在整个执行队列中的顺序位置。比如第一次执行就是1,第n次就是n。

运行状态: 每一次执行记录的运行状态。

开始时间: 执行计划开始运行的时间。

运行时间: 到查看页面当时为止,一共运行的时间。

执行集群: 执行计划运行的集群,可以是按需也可以是一个关联的已有集群。点击可以前往集群的详情页查看。

操作

查看作业列表:单击该按钮,即可进入单次执行计划的作业列表查看每个作业的执行情况。
作业记录查看

在这里可以查看单次执行计划的执行记录中的作业列表,以及每一个作业的具体信息,如下图所示:

screenshot

作业执行 ID:作业每一次执行都会产生一个对应的 ID,它和作业本身的 ID 是不同的。这个 ID 可以想象成作业每运行一次的一个记录的唯一标示,您可用其在 OSS 上进行日志查询。

作业名称:作业的名称。

状态:作业的运行状态。

作业类型:作业的类型。

开始时间:这个作业开始运行的时间,都已经转换为本地时间。

运行时间:这个作业一共运行了多久,以秒为单位。

操作

停止作业:无论作业在提交中还是在运行中,都可以被停止。如果是提交中,那么停止作业会让这个作业不执行。如果是在运行中,那么这个作业会被 kill 掉。

stdout:记录 master 进程的标准输出(即通道 1)的所有输出内容。如果运行作业的集群没有打开日志保存,不会有此查看功能。

stderr:记录 master 进程的诊断输出(即通道 2)的所有输出内容。如果运行作业的集群没有打开日志保存,不会有此查看功能。

查看作业实例:查看作业的所有 worker 的节点的日志。如果运行作业的集群没有打开日志保存,不会有此查看功能。

作业worker日志查看

screenshot

云服务器实例 ID/IP:运行作业的 ECS 实例 ID,以及对应的内网 IP。

容器 ID:Yarn 运行的容器 ID。

类型:日志的不同类型。stdout 与 stderr,来自不同的输出。

操作

查看日志:单击对应的类型,查看对应的日志。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
823 2
|
分布式计算
33 MAPREDUCE的 web日志预处理
33 MAPREDUCE的 web日志预处理
189 0
|
存储 分布式计算 资源调度
通过日志聚合将作业日志存储在HDFS中
如何通过配置Hadoop的日志聚合功能,将作业日志存储在HDFS中以实现长期保留,并详细说明了相关配置参数和访问日志的方法。
428 1
通过日志聚合将作业日志存储在HDFS中
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
433 1
|
监控 Java Serverless
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
|
分布式计算 Hadoop Java
使用Hadoop MapReduce分析邮件日志提取 id、状态 和 目标邮箱
使用Hadoop MapReduce分析邮件日志提取 id、状态 和 目标邮箱
316 0
|
分布式计算 Java Hadoop
实现多文件合并和去重的MapReduce作业
实现多文件合并和去重的MapReduce作业
445 0
|
分布式计算 大数据
mapreduce 实现带有ex前缀的词频统计wordcount 大作业
mapreduce 实现带有ex前缀的词频统计wordcount 大作业
210 0
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之在DataWorks中,在MapReduce作业中指定两个表的所有分区如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
215 0
|
分布式计算 监控 Hadoop
Hadoop【基础知识 02】【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
【4月更文挑战第3天】Hadoop【基础知识 02】【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
896 0