《Spark核心技术与高级应用》——2.2节Spark部署-阿里云开发者社区

开发者社区> 华章出版社> 正文
登录阅读全文

《Spark核心技术与高级应用》——2.2节Spark部署

简介:

本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第2章,第2.2节Spark部署,作者于俊 向海 代其锋 马海平,更多章节内容可以访问云栖社区“华章社区”公众号查看

2.2 Spark部署
Spark部署主要包括Local模式部署、Standalone模式部署、YARN模式部署、Mesos模式部署(参考官方文档)。
其中,集群部署模式如下:
独立部署模式:Spark自带的一种简单集群管理器,使用该集群管理器可以轻松地建立一个集群;
Apache Mesos:一个通用的集群管理器,该集群管理器也可以运行MapReduce和服务应用(实际业务没有采取该种架构,本书没有对该模式进行专门讲解,如需要了解,请参考官方文档);
Hadoop YARN:Hadoop 2中的资源管理器,是当前主要使用的资源管理器。
除此之外,Spark的EC2启动脚本使得在Amazon EC2上启动一个独立模式集群变得容易。
2.2.1 Local模式部署
Local(本地)模式下部署Spark应用程序比较简单,可以用于检测Spark是否编译安装成功,需要配置Java环境变量和设置主节点。
主节点设置步骤如下:
1)进入Spark主程序的conf目录,执行:cd spark-1.5.0/conf。
2)以spark-env.sh.template文件为模板创建spark-env.sh文件。
3)修改spark-env.sh配置文件:

vi spark-env.sh
export SPARK_MASTER_IP=$YOUR_MASTER_IP
export JAVA_HOME=$YOUR_JAVA_HOME

4)版本验证,在安装完毕Spark并配置环境变量之后,在任意目录下运行spark-shell命令即可进入Spark命令行模式,此时出现的大段文字中会提示当前的Spark版本,例如:

Welcome to Spark version 1.5.0
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_45)

2.2.2 Standalone模式部署
部署Standalone模式Spark集群步骤如下:
1)修改spark-env.sh配置文件(参考本地部署模式)。

vim spark-env.sh
export SPARK_MASTER_IP=$YOUR_MASTER_IP
export JAVA_HOME=$YOUR_JAVA_HOME
2)在Spark目录下创建一个名为conf/slaves的文件。该文件需要包含所有将要启动Spark Workers的机器的hostname(主机名),每行一个。
vim slaves
# A Spark Worker will be started on each of the machines listed below.
slave01
slave02
slave03
slave04
……
3)发送配置文件spark-env.sh和Slaves到所有Worker节点,以slave02为例:
scp -r $SPARK_HOME/conf/spark-env.sh slave02:/$SPARK_HOME/conf/
scp -r $SPARK_HOME/slavesslave02:/$SPARK_HOME/conf/
4)配置Master无密钥登录Slaves节点。
①?在Master节点和所有Slaves节点上安装openssh-server(以Ubuntu 12.04为例):
sudo apt-get install openssh-server
②?建立SSH KEY:
ssh-keygen -t rsa -P ""
③?在Master节点上启用SSH KEY(authorized_keys权限644):
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
sudo /etc/init.d/ssh reload
④?验证SSH的配置:
ssh localhost
⑤?将Master节点的authorized_keys发送到所有的Slaves节点,并登录验证。
部署完毕,可以通过手动启动和脚本启动集群的Master和Worker。下面详细介绍一下Spark Standalone模式集群的启动以及启动参数的功能。
1.?手动启动集群
通过执行下面的命令启动Master节点:
./sbin/start-master.sh

启动之后,命令行会打印出一个spark://HOST:PORT,你可以通过该信息将Worker与Master连接,或以“master”参数的形式传递给SparkContext对象。你也可以在Master的WebUI中找到这个URL,默认访问地址是http://localhost:8080
支持启动一个或更多的Worker,然后通过下面的指令与Master连接:
./bin/spark-class org.apache.spark.deploy.worker.Worker park:// IP:PORT
一旦启动了一个Worker节点,在Master的WebUI中(默认http://localhost:8080),你会看到新增Worker节点,以及CPU数目、内存大小(减去1GB留给系统)在列表中呈现。
2.?脚本启动集群
检查Spark目录下的conf/slaves文件是否创建,是否包含了所有工作节点机器的hostname,一旦建立了这个文件,就可以通过下面的shell脚本在Master节点上启动或终止你的集群。

sbin/start-master.sh:在脚本运行的机器上启动一个Master实例。
sbin/start-slaves.sh:在conf/slaves文件中指定的机器上启动一个Slaves实例。
sbin/start-all.sh:以上面所述的方式启动一个Master和一定数量的Slaves。
sbin/stop-master.sh:停止当前通过bin/start-master.sh脚本启动的Master实例。
sbin/stop-slaves.sh:停止在conf/salves文件中指定的机器上所有的Slaves实例。
sbin/stop-all.sh:停止当前启动的Master实例和指定的Slaves实例。

执行cd /spark-1.5.0/sbin命令进入sbin文件夹,执行./start-all.sh可以启动所有服务器上的Spark相关进程。
执行jps命令可以查看当前服务器正在运行的进程。如果是主节点,可以看到Master进程;如果是子节点,可以看到Worker进程。这样就表示Spark在服务器上全部配置完毕。
可以通过设置spark-env.sh中的环境变量进一步配置集群,并复制到所有的Worker机器上以使设置生效,表2-2为可配置的spark-env.sh中的环境变量。


50f76749d09cf58e4d2569bc3537d005d7c37c14

2.2.3 YARN模式部署
下面来具体讲解如何基于YARN配置Spark程序。
(1)准备工作
配置Spark之前,需要做一些准备工作。
首先,检查hosts文件,即使用root账户登录服务器之后,在任意目录下执行vim /etc/hosts命令,查看需要部署Spark的“服务器IP机器名”是否已存在,没有请添加。
其次,添加配置文件,同样是在任意目录下执行vim /etc/prof?ile,打开环境变量配置文件,将SPARK_HOME配置到环境变量中,具体如下所示。

export SPARK_HOME=/home/hadoop/spark-1.5.0
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

然后,在任意目录下执行source /etc/prof?ile命令让环境变量生效。
(2)Spark本身的配置
接下来就是针对Spark本身的配置。
首先,进入Spark中的conf文件夹,即在Spark所在目录执行cd/spark-1.5.0/conf命令。打开spark-env.sh文件,即vim spark-env.sh,添加:

export JAVA_HOME=$YOUR_JAVA_HOME
export SPARK_MASTER_IP=$YOUR_MASTER_IP
通过这一项配置,可以确定执行Spark程序时的主节点。
接下来,打开Slaves文件,将子节点的IP地址或名称添加到该文件中,完成Spark的IP和机器名对应的配置。
vim slaves
# A Spark Worker will be started on each of the machines listed below.
slave01
slave02
slave03
slave04
……

最后,需要将spark-1.5.0文件夹、环境变量配置文件和hosts文件批量发送到配置的各个子节点的服务器上,再批量执行source /etc/prof?ile命令即可。
按照先启动Hadoop,再启动Spark的顺序进行启动。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享: