分布式集群环境之Scala的安装与配置(Centos7)

简介: 分布式集群环境之Scala的安装与配置(Centos7)

0x00 教程内容


  1. Scala的获取
  2. 上传Scala安装包到集群
  3. 安装与配置Scala


0x01 Scala的获取


1. 官网下载

a. 为了统一,此处下载scala-2.11.8版本:

https://www.scala-lang.org/download/2.11.8.html

拉到下面,选择scala-2.11.8.tgz进行下载(如果小版本好不一样也没关系)


说明:

Scala依赖JDK,此版本的Scala至少需要提前安装JDK8或者以上。


JDK8教程跳转:

分布式集群环境之JDK8的安装与配置(Centos7)


2. 添加微信:shaonaiyi888

3. 关注公众号:邵奈一

a. 回复scala获取


0x02 上传Scala安装包到集群


1. 上传安装包到虚拟机

a. 可以用XFtp软件上传到master(/home/hadoop-sny/software/),没有software目录就新建


0x03 安装与配置Scala


1. 解压Scala包

a. 用root用户登录服务器(因为我想安装到/usr/local/lib路径下,如果是其他路径,可以不用root用户)

su root

b. 解压到指定目录/usr/local/lib(-C /usr/local/lib,不加-C则解压到当前路径)

tar -zxvf scala-2.11.8.tgz -C /usr/local/lib

c. 查看/usr/local/lib可以发现里面有jdk了

ll /usr/local/lib


image.png

image.png


2. 同步到slave1、slave2

a. 同步(因为我们的免密码登录是配了hadoop-sny用户的,所以root用户,还是要输入密码的)

scp -r /usr/local/lib/scala-2.11.8 root@slave1:/usr/local/lib

scp -r /usr/local/lib/scala-2.11.8 root@slave2:/usr/local/lib


3. 配置三台服务器的环境变量

a. 用hadoop-sny用户登录我们的服务器(因为我们之后都是用hadoop-sny这个用户,所以配置环境变量也要用此用户)

su hadoop-sny

b. 修改当前用户环境变量

vi ~/.bash_profile

c. 添加内容:


export SCALA_HOME=/usr/local/lib/scala-2.11.8
PATH=$PATH:$SCALA_HOME/bin


image.png


d. 使环境变量在当前会话生效(一定要记得执行)

source ~/.bash_profile

e. 校验是否安装成功

scala


image.png


f. abcde这五个步骤,每台服务器上都要执行

PS:当然,也有简便方法,直接将master上的~/.bash_profile文件拷贝到slave1、slave2即可

如写了脚本,直接:

~/shell/scp_all.sh ~/.bash_profile


image.png


参考教程的脚本一:

大数据常用管理集群脚本集合


0x04 Scala初体验


1. Scala编程入门例子

a. 嗯,下面的例子很有意义


image.png


b. 1+1=2


0xFF 总结


  1. 退出scala的shell界面是(:q),或者ctrl+c\ctrl+z
  2. 后期也还会在Windows本地安装Scala,请留意后期教程。
相关文章
|
15天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第8天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统准备、配置安装源、安装 SQL Server 软件包、运行安装程序、初始化数据库以及配置远程连接。通过这些步骤,您可以顺利地在 CentOS 系统上部署和使用 SQL Server 2019。
|
16天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第7天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统要求检查与准备、配置安装源、安装 SQL Server 2019、配置 SQL Server 以及数据库初始化(可选)。通过这些步骤,你可以成功安装并初步配置 SQL Server 2019,进行简单的数据库操作。
|
23天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,并与使用 RPM 包安装进行了对比
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,并与使用 RPM 包安装进行了对比。通过具体案例,读者可以了解如何准备环境、下载源码、编译安装、配置服务及登录 MySQL。编译源码安装虽然复杂,但提供了更高的定制性和灵活性,适用于需要高度定制的场景。
68 3
|
24天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码安装 MySQL 数据库的详细步骤,并与使用 RPM 包安装进行了对比。
本文介绍了在 CentOS 7 中通过编译源码安装 MySQL 数据库的详细步骤,并与使用 RPM 包安装进行了对比。内容涵盖准备工作、下载源码、编译安装、配置服务、登录设置及实践心得,帮助读者根据需求选择最适合的安装方法。
44 2
|
12天前
|
存储 安全 Linux
VMware安装CentOS7
【11月更文挑战第11天】本文详细介绍了在 VMware 中安装 CentOS 7 的步骤,包括准备工作、创建虚拟机、配置虚拟机硬件和安装 CentOS 7。具体步骤涵盖下载 CentOS 7 镜像文件、安装 VMware 软件、创建和配置虚拟机硬件、启动虚拟机并进行安装设置,最终完成 CentOS 7 的安装。在安装过程中,需注意合理设置磁盘分区、软件选择和网络配置,以确保系统的性能和功能满足需求。
106 0
|
2月前
|
NoSQL Java Redis
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
|
4月前
|
NoSQL Redis
基于Redis的高可用分布式锁——RedLock
这篇文章介绍了基于Redis的高可用分布式锁RedLock的概念、工作流程、获取和释放锁的方法,以及RedLock相比单机锁在高可用性上的优势,同时指出了其在某些特殊场景下的不足,并提到了ZooKeeper作为另一种实现分布式锁的方案。
114 2
基于Redis的高可用分布式锁——RedLock
|
4月前
|
缓存 NoSQL Java
SpringBoot整合Redis、以及缓存穿透、缓存雪崩、缓存击穿的理解分布式情况下如何添加分布式锁 【续篇】
这篇文章是关于如何在SpringBoot应用中整合Redis并处理分布式场景下的缓存问题,包括缓存穿透、缓存雪崩和缓存击穿。文章详细讨论了在分布式情况下如何添加分布式锁来解决缓存击穿问题,提供了加锁和解锁的实现过程,并展示了使用JMeter进行压力测试来验证锁机制有效性的方法。
SpringBoot整合Redis、以及缓存穿透、缓存雪崩、缓存击穿的理解分布式情况下如何添加分布式锁 【续篇】
|
16天前
|
NoSQL Redis
Redis分布式锁如何实现 ?
Redis分布式锁通过SETNX指令实现,确保仅在键不存在时设置值。此机制用于控制多个线程对共享资源的访问,避免并发冲突。然而,实际应用中需解决死锁、锁超时、归一化、可重入及阻塞等问题,以确保系统的稳定性和可靠性。解决方案包括设置锁超时、引入Watch Dog机制、使用ThreadLocal绑定加解锁操作、实现计数器支持可重入锁以及采用自旋锁思想处理阻塞请求。
53 16
|
2月前
|
缓存 NoSQL Java
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
61 3
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
下一篇
无影云桌面