Spark集群搭建记录 | 云计算[CentOS7] | Spark配置

简介: 写在前面step1 Spark下载step2 修改环境变量~/.bashrc/etc/profilestep3 配置Master-文件修改slavesspark-env.shstep4 配置slave节点step5 集群启动step6 web浏览器状态查看step7 配置开机启动(可选)

写在前面


本系列文章索引以及一些默认好的条件在 传送门

要想完成Spark的配置,首先需要完成Hadoop的配置

Hadoop配置教程:链接

47b7a5fed238415bbf19f43a391d62ef.png

若未进行明确说明,均按照root用户操作


step1 Spark下载


下载链接

因为后续可能会涉及到很严重的版本问题,所以说在这里我们为了适配,选择2.4.0版本

8bf45dba14dc4f8881a5b355ad869e82.png

下载后放在master主机的/usr/local下

然后解压并改名:

cd /usr/local

tar -zxvf spark-2.4.0-bin-without-hadoop.tgz.gz

mv spark-2.4.0-bin-without-hadoop spark

最后改变拥有者为:root

chown -R root:root spark


step2 修改环境变量


配置文件修改请勿盲目CV,应根据自己实际情况确定


~/.bashrc


vim ~/.bashrc

加入:

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native


source一下使其生效

source ~/.bashrc


/etc/profile


vim /etc/profile

加入:

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin


source /etc/profile


step3 配置Master-文件修改


slaves


cd /usr/local/spark/conf

cp slaves.template slaves

vim slaves

修改为:

slave1
slave2


博主去掉了里面的localhost


spark-env.sh


cp spark-env.sh.template spark-env.sh

vim spark-env.sh

配置文件修改请勿盲目CV,应根据自己实际情况确定

比如JAVA_HOME、SPARK_MASTER_IP

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP= 这里要写上master的IP
export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export HADOOP_HOME=/usr/local/hadoop
export SPARK_WORKER_MEMORY=1024m
export SPARK_WORKER_CORES=1


step4 配置slave节点


在主机操作:

cd /usr/local

tar -zcf spark.master.tar.gz spark

slave01-315是博主的slave主机名,请根据自身实际情况自行修改

scp spark.master.tar.gz slave01-315:/usr/local/spark.master.tar.gz

切换slave01-315机器进行操作:

cd /usr/local

tar -zxf spark.master.tar.gz

自行查看是否解压后文件夹名字为spark,如若不是请自行改名为spark

chown -R root /usr/local/spark

rm -rf spark.master.tar.gz


在主机操作:

cd /usr/local

slave02-315是博主的slave主机名,请根据自身实际情况自行修改

scp spark.master.tar.gz slave02-315:/usr/local/spark.master.tar.gz

切换slave02-315机器进行操作:

cd /usr/local

tar -zxf spark.master.tar.gz

自行查看是否解压后文件夹名字为spark,如若不是请自行改名为spark

chown -R root /usr/local/spark

rm -rf spark.master.tar.gz


step5 集群启动


在主机操作:

启动hadoop:

/usr/local/hadoop/sbin/start-all.sh

启动spark的Master

/usr/local/spark/sbin/start-master.sh

启动spark所有的slave

/usr/local/spark/sbin/start-slaves.sh

关闭集群只需要将start换成stop

step6 web浏览器状态查看


进入8080端口进行查看:

91e413f63ccb4667ae319accb4d78683.png


进入spark-shell:

e5b50d6fbd8b4e1b8127f8a9ea14e17d.png


然后进入web浏览器查看4040端口:

50e93bf8fa384d30934552cf46de1ada.png


step7 配置开机启动(可选)


vim /etc/rc.local

请根据自己实际情况添加,切勿满目CV

su - root -c /usr/local/hadoop/sbin/start-all.sh
su - root -c /usr/local/spark/sbin/start-master.sh
su - root -c /usr/local/spark/sbin/start-slaves.sh


到此,spark配置结束

下一篇(运行scala程序实现单词技术)已经实现择时更新~,敬请期待

到时你将看到:

ecb4c174b0da4f95bf0b249515363f5d.png


55d74689b9014c5083f16886b4410964.png


caa0d1ea79414668bce4a705c8e6a8c5.png


文章知识点与官方知识档案匹配,可进一步学习相关知识

CS入门技能树Linux环境安装安装CentOS3163 人正在系统学习中


目录
相关文章
|
30天前
|
存储 资源调度 负载均衡
云计算——常见集群策略
云计算——常见集群策略
147 0
|
30天前
|
分布式计算 Hadoop Scala
Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)
【4月更文挑战第13天】Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)
51 0
|
30天前
|
资源调度 大数据 调度
【云计算与大数据技术】集群资源统一管理系统YARN、Mesos、Omega讲解(图文解释 超详细)
【云计算与大数据技术】集群资源统一管理系统YARN、Mesos、Omega讲解(图文解释 超详细)
114 2
|
30天前
|
消息中间件 大数据 Apache
【云计算与大数据技术】流计算讲解及集群日志文件实时分析实战(附源码)
【云计算与大数据技术】流计算讲解及集群日志文件实时分析实战(附源码)
62 1
|
30天前
|
机器学习/深度学习 分布式计算 大数据
【云计算与大数据技术】Spark实战项目之判别西瓜好坏(附源码和数据集)
【云计算与大数据技术】Spark实战项目之判别西瓜好坏(附源码和数据集)
61 0
|
30天前
|
存储 缓存 分布式计算
【云计算与大数据技术】Spark的解析(图文解释 超详细必看)
【云计算与大数据技术】Spark的解析(图文解释 超详细必看)
148 0
|
30天前
|
分布式计算 并行计算 Hadoop
【云计算与大数据计算】分布式处理CPU多核、MPI并行计算、Hadoop、Spark的简介(超详细)
【云计算与大数据计算】分布式处理CPU多核、MPI并行计算、Hadoop、Spark的简介(超详细)
168 0
|
7月前
|
分布式计算 Java Scala
配置spark,并在idea中搭建项目
配置spark,并在idea中搭建项目
87 0
|
8月前
|
SQL 分布式计算 Hadoop
配置Hive使用Spark执行引擎
在Hive中,可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括:默认MR、tez、spark。
171 0
|
分布式计算 大数据 Shell
Spark 环境搭建_配置 HistoryServer|学习笔记
快速学习 Spark 环境搭建_配置 HistoryServer
370 0
Spark 环境搭建_配置 HistoryServer|学习笔记