配置初始化
#进入spark配置目录 cd /opt/spark3.3.2/conf cp spark-env.sh.template spark-env.sh #新增如下配置 vim spark-env.sh export JAVA_HOME=/usr/local/java/jdk1.8.0_361 export SCALA_HOME=/usr/local/scala/scala-2.12.15 export SPARK_HOME=/opt/spark3.3.2 export HADOOP_INSTALL=/usr/hadoop export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop export SPARK_MASTER_IP=doris export SPARK_DRIVER_MEMORY=1G export SPARK_EXECUTOR_MEMORY=1G export SPARK_LOCAL_DIRS=/home/spark3.3.2 #编辑后:wq退出
配置slaves
#进入spark配置目录 cd /opt/spark3.3.2/conf cp workers.template workers #新增如下配置，改为自己的主机名：cat /etc/hostname vim workers doris ##编辑后:wq退出
启动测试
#启动master ./sbin/start-master.sh #启动wokers ./sbin/workers.sh
结果查看
- jps
- web（8080）
常见问题
master启动失败
异常详情：failed to launch
解决：
#本地使用的是scala 2.13; 改为2.12 - 无效 #需要下载scala版本对应的spark-3.3.2-bin-hadoop3-scala2.13.tgz
spark安装部署至此结束，安装部署过程中若遇到问题欢迎留言交流
