写在前面
本系列文章索引以及一些默认好的条件在 传送门
要想完成Spark的配置，首先需要完成Hadoop的配置
若未进行明确说明，均按照root用户操作
step1 Spark下载
因为后续可能会涉及到很严重的版本问题，所以说在这里我们为了适配，选择2.4.0版本
下载后放在master主机的/usr/local下
然后解压并改名：
cd /usr/local
tar -zxvf spark-2.4.0-bin-without-hadoop.tgz.gz
mv spark-2.4.0-bin-without-hadoop spark
最后改变拥有者为：root
chown -R root:root spark
step2 修改环境变量
配置文件修改请勿盲目CV，应根据自己实际情况确定
~/.bashrc
vim ~/.bashrc
加入：
export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native
source一下使其生效
source ~/.bashrc
/etc/profile
vim /etc/profile
加入：
export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
并source /etc/profile
step3 配置Master-文件修改
slaves
cd /usr/local/spark/conf
cp slaves.template slaves
vim slaves
修改为：
slave1 slave2
博主去掉了里面的localhost
spark-env.sh
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
配置文件修改请勿盲目CV，应根据自己实际情况确定
比如JAVA_HOME、SPARK_MASTER_IP
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath) export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_MASTER_IP= 这里要写上master的IP export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64 export HADOOP_HOME=/usr/local/hadoop export SPARK_WORKER_MEMORY=1024m export SPARK_WORKER_CORES=1
step4 配置slave节点
在主机操作：
cd /usr/local
tar -zcf spark.master.tar.gz spark
slave01-315是博主的slave主机名，请根据自身实际情况自行修改
scp spark.master.tar.gz slave01-315:/usr/local/spark.master.tar.gz
切换slave01-315机器进行操作：
cd /usr/local
tar -zxf spark.master.tar.gz
自行查看是否解压后文件夹名字为spark，如若不是请自行改名为spark
chown -R root /usr/local/spark
rm -rf spark.master.tar.gz
在主机操作：
cd /usr/local
slave02-315是博主的slave主机名，请根据自身实际情况自行修改
scp spark.master.tar.gz slave02-315:/usr/local/spark.master.tar.gz
切换slave02-315机器进行操作：
cd /usr/local
tar -zxf spark.master.tar.gz
自行查看是否解压后文件夹名字为spark，如若不是请自行改名为spark
chown -R root /usr/local/spark
rm -rf spark.master.tar.gz
step5 集群启动
在主机操作：
启动hadoop:
/usr/local/hadoop/sbin/start-all.sh
启动spark的Master
/usr/local/spark/sbin/start-master.sh
启动spark所有的slave
/usr/local/spark/sbin/start-slaves.sh
关闭集群只需要将start换成stop
step6 web浏览器状态查看
进入8080端口进行查看：
进入spark-shell:
然后进入web浏览器查看4040端口：
step7 配置开机启动（可选）
vim /etc/rc.local
请根据自己实际情况添加，切勿满目CV
su - root -c /usr/local/hadoop/sbin/start-all.sh su - root -c /usr/local/spark/sbin/start-master.sh su - root -c /usr/local/spark/sbin/start-slaves.sh
到此，spark配置结束
下一篇（运行scala程序实现单词技术）已经实现择时更新~，敬请期待
到时你将看到：
文章知识点与官方知识档案匹配，可进一步学习相关知识
CS入门技能树Linux环境安装安装CentOS3163 人正在系统学习中
