Spark的单机版便于测试,同时通过SSH用Spark的内置部署脚本搭建Spark集群,使用Mesos、Yarn或者Chef来部署Spark。对于Spark在云环境中的部署,比如在EC2(基本环境和ECMR)上的部署。
请移步,见我的下面博客
Spark运行模式概述
注意:EMR(Elastic MapReduce),即弹性MapReduce。 亚马逊弹性MapReduce(Amazon EMR)
1、从Spark源码搭建Spakr环境
2、在云环境搭建搭建Spakr环境
3、通过SSH搭建Spakr环境
如果集群未安装任何集群管理软件,你能用一些方便Spark部署的脚本通过SSH部署Spark,这种方式在Spark文档中叫“standlone”模式。
4、在YARN上搭建Spakr环境
5、在Mesos上搭建Spakr环境
进一步学习,请移步Spark集群搭建(1、3和5节点)(含CentOS系统和Ubuntu系统) (博主推荐)
本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5717422.html,如需转载请自行联系原作者