主要内容
- spark部署
前提
- zookeeper正常使用
- JAVA_HOME环境变量
- HADOOP_HOME环境变量
安装包
- Spark2.4.4
一、环境准备
上传到docker镜像
docker cp spark-2.4.4-bin-hadoop2.7.tar.gz cluster-master:/root/tar
解压
tar xivf spark-2.4.4-bin-hadoop2.7.tar.gz -C /opt/hadoop
二、配置文件
spark-env.sh
SPARK_LOCAL_DIRS=/opt/spark/spark-2.4.4-bin-hadoop2.7 HADOOP_CONF_DIR=/opt/hadoop/hadoop-2.7.7/etc/hadoop YARN_CONF_DIR=/opt/hadoop/hadoop-2.7.7/etc/hadoop JAVA_HOME=/opt/jdk/jdk1.8.0_221 export SPARK_MASTER_IP=cluster-master export SPARK_DAEMON_JAVA_OPTS=" -Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=172.15.0.2:2181 -Dspark.deploy.zookeeper.dir=/sparkmaster"
slaves
cluster-slave1 cluster-slave2 cluster-slave3
spark-default.conf
spark.eventLog.enabled true spark.eventLog.dir hdfs://jinbill/spark/eventLog spark.history.fs.logDirectory hdfs://jinbill/spark/eventLog spark.eventLog.compress true
三、启动
start-all.sh
四、UI界面
因为网段不同，所以得加路由才能访问
- 打开cmd，需要管理员权限
- route add 172.15.0.0 mask 255.255.0.0 192.168.11.38 -p
Spark Master 访问地址Spark Slave1 访问地址Spark Slave2 访问地址Spark Slave3 访问地址Spark 历史任务 访问地址
