分布式集群环境之Scala的安装与配置(Centos7)

简介: 分布式集群环境之Scala的安装与配置(Centos7)

0x00 教程内容


  1. Scala的获取
  2. 上传Scala安装包到集群
  3. 安装与配置Scala


0x01 Scala的获取


1. 官网下载

a. 为了统一,此处下载scala-2.11.8版本:

https://www.scala-lang.org/download/2.11.8.html

拉到下面,选择scala-2.11.8.tgz进行下载(如果小版本好不一样也没关系)


说明:

Scala依赖JDK,此版本的Scala至少需要提前安装JDK8或者以上。


JDK8教程跳转:

分布式集群环境之JDK8的安装与配置(Centos7)


2. 添加微信:shaonaiyi888

3. 关注公众号:邵奈一

a. 回复scala获取


0x02 上传Scala安装包到集群


1. 上传安装包到虚拟机

a. 可以用XFtp软件上传到master(/home/hadoop-sny/software/),没有software目录就新建


0x03 安装与配置Scala


1. 解压Scala包

a. 用root用户登录服务器(因为我想安装到/usr/local/lib路径下,如果是其他路径,可以不用root用户)

su root

b. 解压到指定目录/usr/local/lib(-C /usr/local/lib,不加-C则解压到当前路径)

tar -zxvf scala-2.11.8.tgz -C /usr/local/lib

c. 查看/usr/local/lib可以发现里面有jdk了

ll /usr/local/lib


image.png

image.png


2. 同步到slave1、slave2

a. 同步(因为我们的免密码登录是配了hadoop-sny用户的,所以root用户,还是要输入密码的)

scp -r /usr/local/lib/scala-2.11.8 root@slave1:/usr/local/lib

scp -r /usr/local/lib/scala-2.11.8 root@slave2:/usr/local/lib


3. 配置三台服务器的环境变量

a. 用hadoop-sny用户登录我们的服务器(因为我们之后都是用hadoop-sny这个用户,所以配置环境变量也要用此用户)

su hadoop-sny

b. 修改当前用户环境变量

vi ~/.bash_profile

c. 添加内容:


export SCALA_HOME=/usr/local/lib/scala-2.11.8
PATH=$PATH:$SCALA_HOME/bin


image.png


d. 使环境变量在当前会话生效(一定要记得执行)

source ~/.bash_profile

e. 校验是否安装成功

scala


image.png


f. abcde这五个步骤,每台服务器上都要执行

PS:当然,也有简便方法,直接将master上的~/.bash_profile文件拷贝到slave1、slave2即可

如写了脚本,直接:

~/shell/scp_all.sh ~/.bash_profile


image.png


参考教程的脚本一:

大数据常用管理集群脚本集合


0x04 Scala初体验


1. Scala编程入门例子

a. 嗯,下面的例子很有意义


image.png


b. 1+1=2


0xFF 总结


  1. 退出scala的shell界面是(:q),或者ctrl+c\ctrl+z
  2. 后期也还会在Windows本地安装Scala,请留意后期教程。
相关文章
|
4天前
|
网络协议 Java 应用服务中间件
centos7环境下tomcat8的安装与配置
本文介绍了在Linux环境下安装和配置Tomcat 8的详细步骤。首先,通过无网络条件下的文件交互软件(如Xftp 6或MobaXterm)下载并解压Tomcat安装包至指定路径,启动Tomcat服务并测试访问。接着,修改Tomcat端口号以避免冲突,并部署Java Web应用项目至Tomcat服务器。最后,调整Linux防火墙规则,确保外部可以正常访问部署的应用。关键步骤包括关闭或配置防火墙、添加必要的端口规则,确保Tomcat服务稳定运行。
|
15天前
|
消息中间件 负载均衡 Java
如何设计一个分布式配置中心?
这篇文章介绍了分布式配置中心的概念、实现原理及其在实际应用中的重要性。首先通过一个面试场景引出配置中心的设计问题,接着详细解释了为什么需要分布式配置中心,尤其是在分布式系统中统一管理配置文件的必要性。文章重点分析了Apollo这一开源配置管理中心的工作原理,包括其基础模型、架构模块以及配置发布后实时生效的设计。此外,还介绍了客户端与服务端之间的交互机制,如长轮询(Http Long Polling)和定时拉取配置的fallback机制。最后,结合实际工作经验,分享了配置中心在解决多台服务器配置同步问题上的优势,帮助读者更好地理解其应用场景和价值。
56 18
|
4天前
|
SQL 分布式计算 数据处理
云产品评测|分布式Python计算服务MaxFrame | 在本地环境中使用MaxFrame + 基于MaxFrame实现大语言模型数据处理
本文基于官方文档,介绍了由浅入深的两个部分实操测试,包括在本地环境中使用MaxFrame & 基于MaxFrame实现大语言模型数据处理,对步骤有详细说明。体验下来对MaxCompute的感受是很不错的,值得尝试并使用!
22 1
|
27天前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
2月前
|
数据库
如何在Seata框架中配置分布式事务的隔离级别?
总的来说,配置分布式事务的隔离级别是实现分布式事务管理的重要环节之一,需要认真对待和仔细调整,以满足业务的需求和性能要求。你还可以进一步深入研究和实践 Seata 框架的配置和使用,以更好地应对各种分布式事务场景的挑战。
61 6
|
3月前
|
Web App开发 搜索推荐 Unix
Linux系统之MobaXterm远程连接centos的GNOME桌面环境
【10月更文挑战第21天】Linux系统之MobaXterm远程连接centos的GNOME桌面环境
745 4
Linux系统之MobaXterm远程连接centos的GNOME桌面环境
|
2月前
|
Java Unix Scala
Scala 安装
Scala 安装
53 3
|
2月前
|
存储 分布式计算 负载均衡
分布式计算模型和集群计算模型的区别
【10月更文挑战第18天】分布式计算模型和集群计算模型各有特点和优势,在实际应用中需要根据具体的需求和条件选择合适的计算架构模式,以达到最佳的计算效果和性能。
96 2
|
3月前
|
Kubernetes Ubuntu Linux
Centos7 搭建 kubernetes集群
本文介绍了如何搭建一个三节点的Kubernetes集群,包括一个主节点和两个工作节点。各节点运行CentOS 7系统,最低配置为2核CPU、2GB内存和15GB硬盘。详细步骤包括环境配置、安装Docker、关闭防火墙和SELinux、禁用交换分区、安装kubeadm、kubelet、kubectl,以及初始化Kubernetes集群和安装网络插件Calico或Flannel。
271 4
|
2月前
|
存储 监控 大数据
构建高可用性ClickHouse集群:从单节点到分布式
【10月更文挑战第26天】随着业务的不断增长,单一的数据存储解决方案可能无法满足日益增加的数据处理需求。在大数据时代,数据库的性能、可扩展性和稳定性成为企业关注的重点。ClickHouse 是一个用于联机分析处理(OLAP)的列式数据库管理系统(DBMS),以其卓越的查询性能和高吞吐量而闻名。本文将从我的个人角度出发,分享如何将单节点 ClickHouse 扩展为高可用性的分布式集群,以提升系统的稳定性和可靠性。
233 0

热门文章

最新文章