Spark(一)-- Standalone HA的部署-阿里云开发者社区

开发者社区> 大数据> 正文

Spark(一)-- Standalone HA的部署

简介: 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/45629643 首先交代...
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/45629643

首先交代一下集群的规模和配置
集群有六台机器,均是VM虚拟机,每台256M的内存(原谅楼主物理机硬件不太给力)
主机名分别是cloud1~cloud6
每台机器上都装有jdk6,和hadoop-2.2.0
其中cloud4~cloud6上装有zookeeper
cloud1为hdfs文件系统的启动节点
cloud3为yarn资源管理的启动节点
(注意每台机器都配置好SSH免密码登录,可以在下面的hadoop部署链接中查看具体步骤)

有关hadoop和zookeeper的部署请看:

hadoop-2.2.0集群安装部署

zookeeper集群安装部署

本次实验目标是在六台虚拟机上装上spark,并且将cloud1作为主节点

首先将下载好的spark和scala包上传到cloud1上

scala下载地址

spark下载地址

注意安装时尽量不要使用root用户(这里使用cloud自定义用户)

安装scala:
tar –zxvf scala-2.10.5.tgz
mv scala-2.10.5 scala

安装spark:
tar -zxvf spark-1.3.0-bin-hadoop2.3.tgz
mv spark-1.3.1 spark

配置环境变量:
vi /etc/profile
export SCALA_HOME=/home/cloud/scala
export SPARK_HOME=/home/cloud/spark
export PATH=$$SPARK_HOME/bin:$SCALA_HOME/bin:$PATH

source /etc/profile
使用scala -version查看是否配置成功

进入spark目录,修改文件slaves
vi conf/slaves
cloud1
cloud2
cloud3
cloud4
cloud5
cloud6

修改spark-env.sh
vi conf/spark-env.sh

export SPARK_MASTER_IP=cloud1
export SPARK_WORKER_MEMORY=128m
export JAVA_HOME=/usr/java/jdk
export SCALA_HOME=/home/cloud/scala
export SPARK_HOME=/home/cloud/spark
export HADOOP_CONF_DIR=/home/cloud/hadoop/etc/hadoop
export SPARK_LIBRARY_PATH=$$SPARK_HOME/lib
export SCALA_LIBRARY_PATH=$SPARK_LIBRARY_PATH
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077

将cloud1上配置好的spark和scala通过scp复制到其他各个节点上(注意其他节点上的profile文件也要一致)
scp -r spark cloud2:/home/cloud/
scp -r scala cloud2:/home/cloud/

scp -r spark cloud3:/home/cloud/
scp -r scala cloud3:/home/cloud/

scp -r spark cloud4:/home/cloud/
scp -r scala cloud4:/home/cloud/

scp -r spark cloud5:/home/cloud/
scp -r scala cloud5:/home/cloud/

scp -r spark cloud6:/home/cloud/
scp -r scala cloud6:/home/cloud/

通过
sbin/start-all.sh
启动spark集群
http://cloud1:8080可以监控spark Standalone集群

如果要启动spark-shell连接到spark Standalone集群,有两种方法:
a:使用MASTER=spark://cloud1:7077 bin/spark-shell启动
b:配置在conf/spark-env.sh增加:
export MASTER=spark://$${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
然后使用使用./spark-shell启动

基于文件系统的单点恢复
主要用于开发或测试环境下
当spark提供目录保存spark Application和worker的注册信息,并将他们的恢复状态写

入该目录中,这时,一旦Master发生故障,就可以通过重新启动Master进程(sbin/start-master.sh),恢复已运行的spark Application和worker的注册信息。
基于文件系统的单点恢复,主要是在spark-env里对SPARK_DAEMON_JAVA_OPTS设置:
参数 含义
spark.deploy.recoveryMode:设成FILESYSTEM , 缺省值为NONE
spark.deploy.recoveryDirectory:Spark 保存恢复状态的目录

export SPARK_DAEMON_JAVA_OPTS=”-Dspark.deploy.recoveryMode=FILESYSTEM -
Dspark.deploy.recoveryDirectory=/home/cloud/spark/recovery”

基于zookeeper的Standby Masters
参数 含义
spark.deploy.recoveryMode:设置成ZOOKEEPER,缺省值为 NONE
spark.deploy.zookeeper.url: ZooKeeper URL(如192.168.100.111:2181,192.168.100.112:2181…)
spark.deploy.zookeeper.dir:ZooKeeper 保存恢复状态的目录,缺省为 /spark

Master可以在任何时候添加或移除。如果发生故障切换,新的Master将联系所有以前注册的Application和Worker告知Master的改变。

export SPARK_DAEMON_JAVA_OPTS=”-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=cloud4:2181,cloud5:2181,cloud6:2181, -
Dspark.deploy.zookeeper.dir=/home/cloud/spark”

对于初次接触Spark的一些常见的问题:
1.小的数据量,如G级别,适合在Spark上运行吗?
大数据和数据大是两个不同的概念,大数据处理强调的是处理的速度,数据量的大小反而不是关键。例如,1G的数据要求在0.005秒之内处理完毕

2.Standalone和ON YARN模式有什么区别?
两者都是部署在多台节点上的分布式环境,Standalone从名字上就可以看出是Spark自己的集群,而ON YARN模式下,YARN提供了多框架并存的机制,不仅仅是Spark。并且还提供对多个框架之间是分配和调度资源的管理。

3.运行Spark一定需要Hadoop吗?
不一定,如果是学习需要,完全可以将Spark安装在local模式下,连HDFS都不需要
但是一般的商业部署架构为:Hadoop+Yarn+Spark
Hadoop的HDFS是大数据处理首选的文件系统,Spark需要历史数据,而这些数据就在HDFS中
Yarn多框架并存,资源管理保证了集群的高效和可用性
Spark应对大数据处理的各种场景,一套搞定,one stack to rule them all

版权声明:本文首发在云栖社区,遵循云栖社区版权声明:本文内容由互联网用户自发贡献,版权归用户作者所有,云栖社区不为本文内容承担相关法律责任。云栖社区已升级为阿里云开发者社区。如果您发现本文中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,阿里云开发者社区将协助删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章