注意:请确认您已经完成了
必选的
准备工作。
通过本教程,用户能够基本了解E-MapReduce中集群、作业和执行计划的作用和使用方法。能够创建一个SparkPi的作业在集群上运行成功,并最后在控制台页面上看到圆周率Pi的近似计算结果。
- 创建集群在EMR产品控制台左侧选择集群,并点击右上创建集群
- 软件配置选择最新的EMR产品版本,比如EMR-3.4.1
- 使用默认软件配置
硬件配置
- 选择按量付费
- 若没有安全组,打开新建,并填写安全组名称
- 选择 Master 4核8G
- 选择 Core 4核8G, 两台
- 其他保持默认
基础配置
- 填写集群名称
- 选择日志路径保存作业日志,务必开启。在集群对应的地域,创建OSS的Bucket
- 填写密码
创建集群创建作业
- 在控制台左侧选择作业,并点击右上创建作业
- 填写作业名称
- 选择Spark类型
- 参数填写,使用如下--class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar 10
注意:,这个/usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar,需要根据实际集群中的 Spark 版本来修改这个jar包,比如 Spark 是2.1.1的,那么就是spark-examples_2.11-2.1.1.jar,如果是2.2.0的,那么就是spark-examples_2.11-2.2.0.jar其他保持默认,创建作业创建执行计划
- 确认之前创建的集群已经创建成功以后,在列表上的状态显示为空闲
- 在控制台左侧选择执行计划,并点击右上创建执行计划
- 创建时选择已有集群,并选择之前创建集群进行关联
- 将之前创建的作业,加入到运行队列中
- 填写执行计划名称
- 默认手动执行
- 创建执行计划
运行执行计划
- 在执行计划列表页面,点击立即运行
查看作业日志并确认结果
- 点击管理,进入管理页面,在下方查看运行记录
- 点击运行记录的右侧,查看作业列表
- 点击stdout能够查看到Pi的近似计算结果:3.14xxxx