E-MapReduce 如何快速开始?

您已经成功地了解了如何在阿里云E-MapReduce（EMR）平台上创建集群、作业和执行计划，并运行了一个SparkPi示例来近似计算圆周率Pi。下面是对您操作步骤的简要回顾及补充说明：

1. 创建集群:

   • 选择最新的EMR版本，如EMR-3.4.1，使用默认软件配置。
   • 硬件配置方面，选择了按量付费模式，为Master节点配置了4核8G内存，Core节点配置了两台，每台也是4核8G内存。
   • 创建或选择安全组以确保网络安全。
   • 填写集群名称，指定日志路径（通过OSS Bucket保存），并设置密码完成集群创建。

2. 创建作业:

   • 在控制台选择“作业”并创建新作业，指定作业类型为Spark。
   • 参数填写中，指定了运行的类org.apache.spark.examples.SparkPi以及资源管理器、驱动程序内存等参数。注意根据实际集群中的Spark版本调整jar包路径。
   • 完成作业设置后创建作业。

3. 创建执行计划:

   • 确认集群状态为空闲后，在“执行计划”界面创建新的执行计划。
   • 关联之前创建的集群，将已创建的SparkPi作业添加到执行队列中，设定执行计划名称，并选择手动执行方式。

4. 运行执行计划与查看结果:

   • 启动执行计划后，通过执行计划列表页面的“立即运行”按钮启动任务。
   • 通过管理页面查看运行记录，点击作业列表中的记录，进一步查看stdout输出，确认计算出的Pi值大约为3.14xxxx。

补充说明: - 成功执行此教程后，您不仅掌握了在阿里云EMR上部署和运行Spark应用的基本流程，还了解了如何通过执行计划自动化作业调度。 - 记得根据实际需求和成本考虑，适时调整集群规模和作业参数，以达到最佳性能和成本效益。 - 若在执行过程中遇到任何问题，可以查看EMR控制台的帮助文档或联系阿里云客服获取支持。 - 对于长期运行的任务，建议关注集群的成本优化策略，比如利用预约实例、抢占式实例等经济型方案来降低成本。