【Spark】（二）Spark2.3.4 集群分布式安装-阿里云开发者社区

【Spark】（二）Spark2.3.4 集群分布式安装

2022-06-09 212

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 【Spark】（二）Spark2.3.4 集群分布式安装

文章目录

一、下载Spark安装包

二、安装准备

三、Spark安装

四、启动Spark

五、验证

一、下载Spark安装包

从官网下载：http://spark.apache.org/downloads.html

二、安装准备

以下安装都可以参照以前的环境搭建博客：

1、Java8安装成功

2、zookeeper安装成功

3、hadoop2.6.0 HA安装成功

4、Scala安装成功（不安装进程也可以启动）

三、Spark安装

1、上传并解压缩 spark-2.3.4-bin-hadoop2.6.tgz

2、移动到 /opt/soft/spark234 目录下

[root@zj1 opt]# mv spark-2.3.4-bin-hadoop2.6 soft/spark234

3、进入spark/conf修改配置文件

（1）进入配置文件所在目录

[root@zj1 opt]# cd soft/spark234/conf/

（2）复制spark-env.sh.template并重命名为spark-env.sh，并在文件最后添加配置内容

[root@zj1 conf  ]# cp spark-env.sh.template spark-env.sh
export SPARK_MASTER_HOST=192.168.56.137  #主节点IP
export SPARK_MASTER_PORT=7077  #任务提交端口
export SPARK_WORKER_CORES=2  #每个worker使用2核
export SPARK_WORKER_MEMORY=3g  #每个worker使用3g内存
export SPARK_MASTER_WEBUI_PORT=7979  #修改spark监视窗口的端口默认8080

（3）复制slaves.template成slaves (配置worker节点)

[root@zj1 conf]# cp slaves.template slaves

加入两个workder节点名，如果搭建伪分布式的，这里写localhost 即可

hadoop1
hadoop2
hadoop3

（4）修改sbin下spark-config.sh

export JAVA_HOME=/opt/soft/jdk180
# 这是我jdk的路径

（5）将安装包分发给其他节点

[root@zj1 conf]# scp -r /opt/soft/spark234/ root@zj2:/opt/soft/
[root@zj1 conf]# scp -r /opt/soft/spark234/ root@zj3:/opt/soft/

四、启动Spark

五、验证

查看Web界面Master状态

【Spark】（二）Spark2.3.4 集群分布式安装

文章目录

一、下载Spark安装包

二、安装准备

三、Spark安装

四、启动Spark

五、验证

热门文章

最新文章

相关课程

相关电子书

相关实验场景