安装Scala-2.11.7——集群学习日记

简介: 安装Scala-2.11.7——集群学习日记 前言 在安装Spark之前,我们需要安装Scala语言的支持。在此我选择的是scala-2.11.7版本。 scala-2.11.7下载 为了方便,我现在我的SparkMaster主机上先安装,把目录打开到/usr目录下,与我的Java目录相一致。

安装Scala-2.11.7——集群学习日记

前言

在安装Spark之前,我们需要安装Scala语言的支持。在此我选择的是scala-2.11.7版本。

scala-2.11.7下载

为了方便,我现在我的SparkMaster主机上先安装,把目录打开到/usr目录下,与我的Java目录相一致。

wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz
  • 1

下载之后解压

tar -zxvf scala-2.11.7.tgz
  • 1

解压之后删除源文件

rm -rf scala-2.11.7.tgz
  • 1

配置环境

在此需要打开/etc/profile文件进行配置

vi /etc/profile
  • 1

在文件的最后插入

export SCALA_HOME=/usr/scala-2.11.7

export PATH=$PATH:$SCALA_HOME/bin
  • 1
  • 2
  • 3

这里写图片描述

插入了之后要使得命令生效,需要的是:

source /etc/profile
  • 1

检测是否安装成功

scala -version
  • 1

这里写图片描述

配置其他Slave主机也安装scala

在此我选择在SparkMaster上使用rsync命令将/usr/scala-2.11.7/目录复制到其他SparkWorker上,另外/etc/profile文件也同样。

rsync -av /usr/scala-2.11.7/ SparkWorker1:/usr/scala-2.11.7/
  • 1
rsync -av /usr/scala-2.11.7/ SparkWorker2:/usr/scala-2.11.7/
  • 1

结言

其实复制的时候多种方式,可以使用scp,但是发现rsync这个命令超级好用,故在此使用rsync进行复制。至此,三台的主机的scale文件已经配置好了。已经挺晚的了,明天再进行配置spark环境吧。

原文地址https://blog.csdn.net/weixin_36394852/article/details/75948991

相关文章
|
2月前
|
Scala 容器
Scala学习--day04--集合、常用方法、案例实操 - WordCount TopN、不同省份的商品点击排行
Scala学习--day04--集合、常用方法、案例实操 - WordCount TopN、不同省份的商品点击排行
70 2
|
2月前
|
消息中间件 分布式计算 大数据
Scala学习--day03--函数式编程
Scala学习--day03--函数式编程
63 2
|
2月前
|
Java Scala
Scala学习--day02---控制流、“九层妖塔—杨辉三角”
Scala学习--day02---控制流、“九层妖塔—杨辉三角”
54 1
|
2月前
|
Java 编译器 API
Scala学习--day01变量与数据类型、运算符
Scala学习--day01变量与数据类型、运算符
41 1
|
存储 算法 Java
Scala学习三-面向对象
前面我们已经学习了特质类似接口,其可以被继承,同时如果需要继承多个特质的话,则需要使用extends…with…进行继承。其类似java中的接口和抽象方法的结合体,但又比java中的其要强大,因为其可以定义抽象字段和普通字段、抽象方法和普通方法。而在java中接口中可以定义常量,不能定义变量。同时特质还可以继承class类,而在java中接口通常是用来实现的。 Object继承trait
116 0
Scala学习三-面向对象
|
Java Scala
Scala学习一
Scala中的方法与函数: 方法是属于类或者对象的,在运行时,它是加载到JVM的方法区中,而函数则是加载到JVM的堆内存中,同时可以将函数对象赋值给一个变量。函数是一个对象,继承自FunctionN,函数对象有apply、curried、toSting、tupled这些方法,而方法则没有。这是scala与java不同的地方。
81 0
Scala学习一
|
分布式计算 资源调度 Hadoop
基于mac构建大数据伪分布式学习环境(七)-部署Scala及Spark学习环境
本文主要讲解如何部署Scala与单机伪分布式Spark计算引擎
92 0
|
SQL 分布式计算 Scala
Scala学习总结
Scala学习总结
108 0
|
XML 分布式计算 大数据
Scala 学习 进击大数据Spark生态圈
Scala 学习 进击大数据Spark生态圈