阿里云创建E-MapReduce 1 快速开始

简介:

注意:请确认您已经完成了必选的准备工作

通过本教程,用户能够基本了解E-MapReduce中集群、作业和执行计划的作用和使用方法。能够创建一个Spark Pi的作业在集群上运行成功,并最后在控制台页面上看到圆周率Pi的近似计算结果。

1.创建集群

在控制台左侧选择集群,并点击右上创建集群
软件配置
选择最新的EMR产品版本,比如EMR-3.4.1
使用默认软件配置
硬件配置
选择按量付费
若没有安全组,打开新建,并填写安全组名称
选择 Master 4核8G
选择 Core 4核8G, 两台
其他保持默认
基础配置
填写集群名称
选择日志路径保存作业日志,务必开启。在集群对应的地域,创建OSS的Bucket
填写密码
创建集群

2.创建作业

在控制台左侧选择作业,并点击右上创建作业
填写作业名称
选择Spark类型
参数填写,使用如下

--class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar 10

注意:,这个/usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar, 需要根据实际集群中的 Spark 版本来修改这个jar包,比如 Spark 是2.1.1的, 那么就是spark-examples_2.11-2.1.1.jar,如果是2.2.0的,那么就是spark-examples_2.11-2.2.0.jar
其他保持默认,创建作业

3.创建执行计划

确认之前创建的集群已经创建成功以后,在列表上的状态显示为空闲
在控制台左侧选择执行计划,并点击右上创建执行计划
创建时选择已有集群,并选择之前创建集群进行关联
将之前创建的作业,加入到运行队列中
填写执行计划名称
默认手动执行
创建执行计划
运行执行计划
在执行计划列表页面,点击立即运行
查看作业日志并确认结果
点击管理,进入管理页面,在下方查看运行记录
点击运行记录的右侧,查看作业列表
点击stdout能够查看到Pi的近似计算结果:3.14xxxx

相关文章
|
12月前
|
SQL
在阿里云的E-MapReduce中,对数组类型进行聚合操作需要使用特定的函数
在阿里云的E-MapReduce中,对数组类型进行聚合操作需要使用特定的函数
49 2
|
SQL 弹性计算 分布式计算
阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊
开源大数据平台 EMR 产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
10194 8
阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊
|
大数据
《阿里云产品手册2022-2023 版》——开源大数据平台 E-MapReduce
《阿里云产品手册2022-2023 版》——开源大数据平台 E-MapReduce
阿里云ACE×E-MapReduce 数据湖 Meetup 上海站来啦!
8月7日,阿里云E-MapReduce数据湖Meetup上海站来啦!本场Meetup由阿里云E-MapReduce与阿里ACE同城会联合举办。此次Meetup,社区邀请了来自阿里巴巴、intel、cloudera的7位资深技术专家,分享了超多关于云原生数据湖的内容,全方位解析数据湖治理等难题,以及正式启动E-MapReduce极客挑战赛。
314 0
阿里云ACE×E-MapReduce 数据湖 Meetup 上海站来啦!
|
Web App开发 SQL 大数据
阿里云AnalyticDB数据导出到E-MapReduce实践
阿里云的分析型数据库(AnalyticDB)和E-MapReduce(简称EMR)在大数据场景下非常有用,本文将介绍如何尝试打通两个产品,将通过EMR中自带的开源工具Sqoop来完成这个任务。
4379 0
|
分布式计算 监控 Hadoop
|
调度
阿里云创建E-MapReduce 4 创建执行计划
创建完作业后,若要让定义的作业到集群上运行,就需要创建一个执行计划。一个执行计划可以包含多个作业,用户也可自定义其先后顺序。例如,假设用户的一个场景是:产生数据 -> 处理数据 -> 清理数据,则用户可以分别定义三个名为“prepare-data”、“process-data”和“cleanup-data”的作业,然后创建一个执行计划来包含这三个作业。
1514 0