阿里云E-MapReduce 作业结果和日志查看

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
日志服务 SLS,月写入数据量 50GB 1个月
简介:

执行记录查看

1.登录[阿里云 E-MapReduce 控制台执行计划页面](https://emr.console.aliyun.com/?spm=5176.doc28104.2.1.LvBSu0#/schedule/region/cn-hangzhou
)。
2.单击相应执行计划条目右侧操作中的运行记录,即可进入执行记录页面。如下图所示:
screenshot

执行序列 ID: 本次执行记录的执行次数,表明了它在整个执行队列中的顺序位置。比如第一次执行就是1,第n次就是n。

运行状态: 每一次执行记录的运行状态。

开始时间: 执行计划开始运行的时间。

运行时间: 到查看页面当时为止,一共运行的时间。

执行集群: 执行计划运行的集群,可以是按需也可以是一个关联的已有集群。点击可以前往集群的详情页查看。

操作

查看作业列表:单击该按钮,即可进入单次执行计划的作业列表查看每个作业的执行情况。
作业记录查看

在这里可以查看单次执行计划的执行记录中的作业列表,以及每一个作业的具体信息,如下图所示:

screenshot

作业执行 ID:作业每一次执行都会产生一个对应的 ID,它和作业本身的 ID 是不同的。这个 ID 可以想象成作业每运行一次的一个记录的唯一标示,您可用其在 OSS 上进行日志查询。

作业名称:作业的名称。

状态:作业的运行状态。

作业类型:作业的类型。

开始时间:这个作业开始运行的时间,都已经转换为本地时间。

运行时间:这个作业一共运行了多久,以秒为单位。

操作

停止作业:无论作业在提交中还是在运行中,都可以被停止。如果是提交中,那么停止作业会让这个作业不执行。如果是在运行中,那么这个作业会被 kill 掉。

stdout:记录 master 进程的标准输出(即通道 1)的所有输出内容。如果运行作业的集群没有打开日志保存,不会有此查看功能。

stderr:记录 master 进程的诊断输出(即通道 2)的所有输出内容。如果运行作业的集群没有打开日志保存,不会有此查看功能。

查看作业实例:查看作业的所有 worker 的节点的日志。如果运行作业的集群没有打开日志保存,不会有此查看功能。

作业worker日志查看

screenshot

云服务器实例 ID/IP:运行作业的 ECS 实例 ID,以及对应的内网 IP。

容器 ID:Yarn 运行的容器 ID。

类型:日志的不同类型。stdout 与 stderr,来自不同的输出。

操作

查看日志:单击对应的类型,查看对应的日志。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
13天前
|
存储 数据采集 监控
阿里云DTS踩坑经验分享系列|SLS同步至ClickHouse集群
作为强大的日志服务引擎,SLS 积累了用户海量的数据。为了实现数据的自由流通,DTS 开发了以 SLS 为源的数据同步插件。目前,该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路,客户不仅能够利用 SLS 卓越的数据采集和处理能力,还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势,帮助企业显著提高数据查询速度,同时有效降低存储成本,从而在数据驱动决策和资源优化配置上取得更大成效。
104 9
|
2月前
|
SQL 存储 人工智能
阿里云日志服务的傻瓜式极易预测模型
预测服务有助于提前规划,减少资源消耗和成本。阿里云日志服务的AI预测服务简化了数学建模,仅需SQL操作即可预测未来指标,具备高准确性,并能处理远期预测。此外,通过ScheduledSQL功能,可将预测任务自动化,定时执行并保存结果。
83 3
|
2月前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
50 1
|
4月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
2月前
|
监控 网络协议 CDN
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
|
3月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
236 3
|
3月前
|
存储 分布式计算 资源调度
通过日志聚合将作业日志存储在HDFS中
如何通过配置Hadoop的日志聚合功能,将作业日志存储在HDFS中以实现长期保留,并详细说明了相关配置参数和访问日志的方法。
40 0
通过日志聚合将作业日志存储在HDFS中
|
4月前
|
监控 Java Serverless
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
|
5月前
|
监控 数据管理 关系型数据库
数据管理DMS使用问题之是否支持将操作日志导出至阿里云日志服务(SLS)
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
4月前
|
敏捷开发 前端开发 测试技术
阿里云云效产品使用合集之如何将云效构建执行过程中产生的日志通过邮件发送
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。