一分钟了解阿里云产品:E-MapReduce体验之常见问题

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

 

在Aliyun E-MapReduce中,要运行作业,需要分成两个步骤,分别是:

 

  • 创建作业

在E-MapReduce中创建了一个“作业”,实际上只是创建了一个“作业如何运行的配置”,这份配置中包括该作业要运行的jar包,数据的输入输出地址,以及一些运行参数。当你需要调试运行作业的时候就需要执行计划了。

 

  • 创建执行计划

通过执行计划我们可以把多个作业组合成一个作业序列,为作业准备一个运行集群,为这个作业序列设置周期执行计划,并在完成任务后自动释放集群。

 

在E-MapReduce系统里,系统已经将作业运行日志按照jobid的规划上传到OSS中,用户可以直接在网页上点击查看作业日志。用户也可以直接从OSS上直接查找所有的日志文件,并下载。

 

集群运行时间的计算策略为 运行时间 = 集群释放时刻 - 集群开始构建时刻。即集群一旦开始构建就开始计时,直到集群的生命周期结束。

 

在执行计划的运行记录列表,可以看到每次执行记录运行的时间,该时间的计时策略总结为两种情况:

 

1.如果执行计划是按需执行的,它的运行时间计算策略为,运行时间 = 构建集群的时间 + 执行计划包含所有作业全部运行结束的总耗时 + 集群释放的时间。

 

2.如果执行计划是关联已有集群运行的,整个运行周期不涉及到创建集群和释放集群,所以其运行时间 = 执行计划包含所有作业全部运行结束的总耗时。

 

每个作业的运行时间的计算策略为,运行时间 = 作业运行结束的实际时间 - 作业开始运行的实际时间。

 

E-MapReduce中能否查看作业的Worker上日志?

 

可以。前置条件:是创建集群时发开“保存日志”选项。查看日志位置:执行计划列表->点击“运行记录”->执行记录->点击“查看作业列表”->作业列表->点击“查看作业Worker实例”。

 

关于集群机器分工使用说明如下:

 

E-MapReduce中包含一个Master节点和多个Slave(或者Worker)节点。其中Master节点不参与数据存储和计算任务,Slave节点用来存储数据和计算任务。例如3台4核8G机型的集群,其中一台机器用来作为Master节点,另外两台用来作为Slave节点,也就是集群的可用计算资源为2台4核8G机器。

 

如果您想了解更多关于E-MapReduce,请访问:

https://help.aliyun.com/document_detail/emr/trouble-shooting/trouble-shooting.html?spm=5176.docemr/sdk/Aliyun-Spark-SDK.6.117.i6kYHu

 

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
6月前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之在DataWorks中,在MapReduce作业中指定两个表的所有分区如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
81 0
|
SQL
在阿里云的E-MapReduce中,对数组类型进行聚合操作需要使用特定的函数
在阿里云的E-MapReduce中,对数组类型进行聚合操作需要使用特定的函数
50 2
|
存储 运维 资源调度
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊
开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
675 1
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊
|
存储 分布式计算 运维
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊
开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
48542 4
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊
|
SQL 弹性计算 分布式计算
阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊
开源大数据平台 EMR 产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
10199 8
阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊
|
SQL 运维 监控
开源大数据平台 E-MapReduce Serverless StarRocks 产品介绍
本文将分享阿里云与 StarRocks 社区合作打造的云上 StarRocks 极速湖仓的云原生产品实践。 主要包括四个部分,第一部分介绍 StarRocks 全托管形态,以及免运维服务的 OLAP 云产品;第二部 分介绍 StarRocksManager 的实例管理、诊断分析、元数据管理、安全中心等功能;第三部分介绍 在社交、在线教育、电商等场景的使用案例;最后是对产品的长短期规划。
6904 0
|
大数据
《阿里云产品手册2022-2023 版》——开源大数据平台 E-MapReduce
《阿里云产品手册2022-2023 版》——开源大数据平台 E-MapReduce
|
SQL 弹性计算 分布式计算
【月刊】E-MapReduce 2021-11 产品月刊
11月 E-MapReduce 产品月刊为您带来 1.重要功能 2.版本发布 3.产品文档更新 4.十一月精选文章推荐。欢迎持续关注更多精彩内容!
【月刊】E-MapReduce 2021-11 产品月刊
|
SQL 人工智能 弹性计算
【月刊】E-MapReduce 2021-10 产品月刊
10月 E-MapReduce 产品月刊为您带来 1.相关活动:云栖大会、开源主题直播回顾 2.版本发布 3.产品文档更新 4.十月精选文章推荐 。欢迎持续关注更多精彩内容!
【月刊】E-MapReduce 2021-10 产品月刊
|
SQL 弹性计算 运维
【月刊】E-MapReduce 2021-09 产品月刊
9月 E-MapReduce 产品月刊为您带来 1.相关活动:E-MapReduce 海量日志分析 实操体验 ;2.产品功能更新:G-SCD的具体解决方案及如何通过G-SCD处理维度的数据介绍;3.最佳实践:SparkSQL自适应执行 4.新增视频专区 。欢迎持续关注更多精彩内容!
【月刊】E-MapReduce 2021-09 产品月刊