分布式集群环境之Scala的安装与配置(Centos7)

简介: 分布式集群环境之Scala的安装与配置(Centos7)

0x00 教程内容


  1. Scala的获取
  2. 上传Scala安装包到集群
  3. 安装与配置Scala


0x01 Scala的获取


1. 官网下载

a. 为了统一,此处下载scala-2.11.8版本:

https://www.scala-lang.org/download/2.11.8.html

拉到下面,选择scala-2.11.8.tgz进行下载(如果小版本好不一样也没关系)


说明:

Scala依赖JDK,此版本的Scala至少需要提前安装JDK8或者以上。


JDK8教程跳转:

分布式集群环境之JDK8的安装与配置(Centos7)


2. 添加微信:shaonaiyi888

3. 关注公众号:邵奈一

a. 回复scala获取


0x02 上传Scala安装包到集群


1. 上传安装包到虚拟机

a. 可以用XFtp软件上传到master(/home/hadoop-sny/software/),没有software目录就新建


0x03 安装与配置Scala


1. 解压Scala包

a. 用root用户登录服务器(因为我想安装到/usr/local/lib路径下,如果是其他路径,可以不用root用户)

su root

b. 解压到指定目录/usr/local/lib(-C /usr/local/lib,不加-C则解压到当前路径)

tar -zxvf scala-2.11.8.tgz -C /usr/local/lib

c. 查看/usr/local/lib可以发现里面有jdk了

ll /usr/local/lib


image.png

image.png


2. 同步到slave1、slave2

a. 同步(因为我们的免密码登录是配了hadoop-sny用户的,所以root用户,还是要输入密码的)

scp -r /usr/local/lib/scala-2.11.8 root@slave1:/usr/local/lib

scp -r /usr/local/lib/scala-2.11.8 root@slave2:/usr/local/lib


3. 配置三台服务器的环境变量

a. 用hadoop-sny用户登录我们的服务器(因为我们之后都是用hadoop-sny这个用户,所以配置环境变量也要用此用户)

su hadoop-sny

b. 修改当前用户环境变量

vi ~/.bash_profile

c. 添加内容:


export SCALA_HOME=/usr/local/lib/scala-2.11.8
PATH=$PATH:$SCALA_HOME/bin


image.png


d. 使环境变量在当前会话生效(一定要记得执行)

source ~/.bash_profile

e. 校验是否安装成功

scala


image.png


f. abcde这五个步骤,每台服务器上都要执行

PS:当然,也有简便方法,直接将master上的~/.bash_profile文件拷贝到slave1、slave2即可

如写了脚本,直接:

~/shell/scp_all.sh ~/.bash_profile


image.png


参考教程的脚本一:

大数据常用管理集群脚本集合


0x04 Scala初体验


1. Scala编程入门例子

a. 嗯,下面的例子很有意义


image.png


b. 1+1=2


0xFF 总结


  1. 退出scala的shell界面是(:q),或者ctrl+c\ctrl+z
  2. 后期也还会在Windows本地安装Scala,请留意后期教程。
相关文章
|
9月前
|
存储 分布式计算 Linux
安装篇--CentOS 7 虚拟机安装
VMware 装 CentOS 7 不知道从哪下手?这篇超详细图文教程手把手教你在 VMware Workstation 中完成 CentOS 7 桌面系统的完整安装流程。从 ISO 镜像下载、虚拟机配置,到安装图形界面、设置用户密码,每一步都有截图讲解,适合零基础新手快速上手。装好之后无论你是要搭 Hadoop 集群,还是练 Linux ,这个环境都够你折腾一整天!
3882 3
|
10月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
700 2
|
9月前
|
安全 关系型数据库 MySQL
CentOS 7 yum 安装 MySQL教程
在CentOS 7上安装MySQL 8,其实流程很清晰。首先通过官方Yum仓库来安装服务,然后启动并设为开机自启。最重要的环节是首次安全设置:需要先从日志里找到临时密码来登录,再修改成你自己的密码,并为远程连接创建用户和授权。最后,也别忘了在服务器防火墙上放行3306端口,这样远程才能连上。
2210 16
|
10月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
741 10
|
10月前
|
运维 网络协议 Linux
CentOS下Bind服务的安装与故障排查
通过以上的步骤,您应该能够在CentOS系统上安装并配置BIND DNS服务,并进行基本的故障排查。
770 0
|
10月前
|
存储 缓存 NoSQL
【📕分布式锁通关指南 12】源码剖析redisson如何利用Redis数据结构实现Semaphore和CountDownLatch
本文解析 Redisson 如何通过 Redis 实现分布式信号量(RSemaphore)与倒数闩(RCountDownLatch),利用 Lua 脚本与原子操作保障分布式环境下的同步控制,帮助开发者更好地理解其原理与应用。
784 6
|
11月前
|
存储 缓存 NoSQL
Redis核心数据结构与分布式锁实现详解
Redis 是高性能键值数据库,支持多种数据结构,如字符串、列表、集合、哈希、有序集合等,广泛用于缓存、消息队列和实时数据处理。本文详解其核心数据结构及分布式锁实现,帮助开发者提升系统性能与并发控制能力。
|
数据采集 存储 数据可视化
分布式爬虫框架Scrapy-Redis实战指南
本文介绍如何使用Scrapy-Redis构建分布式爬虫系统,采集携程平台上热门城市的酒店价格与评价信息。通过代理IP、Cookie和User-Agent设置规避反爬策略,实现高效数据抓取。结合价格动态趋势分析,助力酒店业优化市场策略、提升服务质量。技术架构涵盖Scrapy-Redis核心调度、代理中间件及数据解析存储,提供完整的技术路线图与代码示例。
1830 0
分布式爬虫框架Scrapy-Redis实战指南
|
9月前
|
NoSQL Java 调度
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
分布式锁是分布式系统中用于同步多节点访问共享资源的机制,防止并发操作带来的冲突。本文介绍了基于Spring Boot和Redis实现分布式锁的技术方案,涵盖锁的获取与释放、Redis配置、服务调度及多实例运行等内容,通过Docker Compose搭建环境,验证了锁的有效性与互斥特性。
797 0
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
|
9月前
|
缓存 NoSQL 关系型数据库
Redis缓存和分布式锁
Redis 是一种高性能的键值存储系统,广泛用于缓存、消息队列和内存数据库。其典型应用包括缓解关系型数据库压力,通过缓存热点数据提高查询效率,支持高并发访问。此外,Redis 还可用于实现分布式锁,解决分布式系统中的资源竞争问题。文章还探讨了缓存的更新策略、缓存穿透与雪崩的解决方案,以及 Redlock 算法等关键技术。