写在前面
本系列文章索引以及一些默认好的条件在 传送门
要想完成Spark的配置,首先需要完成Hadoop&&Spark的配置
若未进行明确说明,均按照root用户操作
step1 下载Scala IDE
本来在Eclipse 的Marketplace便可以下载,可是现在官网都寄了
所以说只好找到之前的版本凑合来用
这个软件再解压后会产生一个文件夹eclipse,所以说为了避免和先前的eclipse产生冲突或者是覆盖问题
我们选择在也之前不同的目录下进行解压,然后进行配置
step2 解压安装Scala IDE
假设已经将scala-ide放置到虚拟机的某路径下,该路径不同于eclipse的路径
假如以/usr/local为例
我们使用tar 命令进行解压:
tar -zxvf scala-SDK<Tab>
然后就可以打开其中的eclipse/eclipse使用该软件:
如果说想要更方便的在桌面直接就能点击使用的话,可以直接创建软连接或者是.Desktop文件并放置到桌面,方法不在赘述
step3 Scala 下载
注意注意!!!
Scala 的版本对Spark版本极其敏感,所以说为了能够下载适合已经装了的Spark版本互相兼容,还请移步官网查看并下载适配的Scala,博主下面给出对应的适配关系,来源maven仓库
博主使用的是Spark2.4.0,与这个版本兼容的有2.11/2.12
在这里博主使用2.11版本的Scala进行配置
cd /usr/local
wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz
tar -zxvf scala-2<Tab>
mv scala-2<Tab> scala
step4 Scala 配置
vim /etc/profile
加入:
export SCALA_HOME=/usr/local/scala export PATH=$PATH:$SCALA_HOME/bin
source
一下使其生效
source /etc/profile
在输入scala
之后如若出现下图则代表成功:
因为在后续的过程中,均需要该环境跑集群的代码,所以说,集群的所有机器为了能够干活,都需要安装scala
可以使用scp命令传送到集群的其他节点,或者是手动在剩余的机器重复step3→ \to→step4
step5 创建scala项目
打开Scala ide ,并创建scala 项目:
右键单击创建好的项目,将下图的第三步换成Convert to Maven Project
,因为博主已经将项目设置为Maven
项目,所以说,该选项消失