Spark 集群搭建_分发和启动|学习笔记

简介: 快速学习 Spark 集群搭建_分发和启动

开发者学堂课程【大数据 Spark2020最新课程(知识精讲与实战演练)第一阶段Spark 集群搭建_分发和启动】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/688/detail/11941


Spark 集群搭建_分发和启动

spark 的安装包分发给不同的其他节点以后,去启动整个集群。

步骤:

第一步:分发

分发到 Node02 和 Node03 当中。

第二步

启动整个集群,分为两部分的启动,

一部分启动spark集群,还有一部分启动 history- server。

进入到的 SSH 客户端需要窗口当中,那么首先,还是进入到 spark 的这个目录下,首先CD的 export servers的目录下,

使用 scp-r 命令来去把 spark 分发给 node02 一份对,分发到当前路径下,等待分发完成,接下来再去分发给 node03 ,完成后,可以试着去启动整个集群,

进入 spark 目录下,找到export.servers.spark,这时进入 sbin 路径下找到一个叫做 start- all. Sh 的一个命令。

需要注意,一般涉及到 sbin 指的是管理员使用的一些命令,如果是 bin 就是普通的用户也可以使用的一些工具命令,这时, start all 去启动整个集群,包括 Node01启动,Node02 启动和 Node03启动对吧,还是在 sbin 当中去启动一下history -server,

这个过程会稍微有一点点缓慢,那么这时,history server已经启动完成了并且没有任何问题了,整个spark集群的安装到此为止。

回顾:下载 spark,然后,上传到服务器,然后做一些配置,然后,配置 history -server,然后分发,然后启动。

最后一步:

看一看 Node01 上有没有 spark 对应的内容,有没有spark 的这个进程,首先这个master 对应的 spark 的master,worker 对应的就是 spark 的 worker。

再来看 Node02 当中,能注意到 worker 就是 spark worker, Node03当中,进入一下 Node03, jps ,

image.png

能看到在 Node03 上也有这个 worker 进程所以说明整个集群的启动是没有问题的。

相关文章
|
5月前
|
分布式计算 Linux Spark
179 Spark集群安装
179 Spark集群安装
36 0
|
4月前
|
分布式计算 监控 Java
Note_Spark_Day02:Standalone集群模式和使用IDEA开发应用程序
Note_Spark_Day02:Standalone集群模式和使用IDEA开发应用程序
51 0
|
7月前
|
分布式计算 大数据 Spark
基于Docker搭建大数据集群(四)Spark部署
基于Docker搭建大数据集群(四)Spark部署
|
2月前
|
分布式计算 数据处理 Scala
Spark 集群和 Scala 编程语言的关系
Spark 集群和 Scala 编程语言的关系
29 0
|
6月前
|
分布式计算 资源调度 Hadoop
Spark on Yarn集群模式搭建及测试
Spark on Yarn集群模式搭建及测试
156 0
|
7月前
|
分布式计算 资源调度 监控
Spark Yarn模式部署集群
Spark Yarn模式部署集群
49 1
|
7月前
|
分布式计算 监控 大数据
大数据Spark Standalone集群 2
大数据Spark Standalone集群
44 0
|
7月前
|
存储 分布式计算 资源调度
大数据Spark Standalone集群 1
大数据Spark Standalone集群
64 0
|
9月前
|
机器学习/深度学习 存储 分布式计算
spark集群 分类器 部署
spark集群 分类器 部署
|
11月前
|
存储 分布式计算 资源调度
Spark集群环境搭建(standalone模式)
Spark集群环境搭建(standalone模式)