开发者学堂课程【大数据 Spark2020最新课程(知识精讲与实战演练)第一阶段:Spark 集群搭建_分发和启动】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/688/detail/11941
Spark 集群搭建_分发和启动
spark 的安装包分发给不同的其他节点以后,去启动整个集群。
步骤:
第一步:分发
分发到 Node02 和 Node03 当中。
第二步
启动整个集群,分为两部分的启动,
一部分启动spark集群,还有一部分启动 history- server。
进入到的 SSH 客户端需要窗口当中,那么首先,还是进入到 spark 的这个目录下,首先CD的 export servers的目录下,
使用 scp-r 命令来去把 spark 分发给 node02 一份对,分发到当前路径下,等待分发完成,接下来再去分发给 node03 ,完成后,可以试着去启动整个集群,
进入 spark 目录下,找到export.servers.spark,这时进入 sbin 路径下找到一个叫做 start- all. Sh 的一个命令。
需要注意,一般涉及到 sbin 指的是管理员使用的一些命令,如果是 bin 就是普通的用户也可以使用的一些工具命令,这时, start all 去启动整个集群,包括 Node01启动,Node02 启动和 Node03启动对吧,还是在 sbin 当中去启动一下history -server,
这个过程会稍微有一点点缓慢,那么这时,history server已经启动完成了并且没有任何问题了,整个spark集群的安装到此为止。
回顾:下载 spark,然后,上传到服务器,然后做一些配置,然后,配置 history -server,然后分发,然后启动。
最后一步:
看一看 Node01 上有没有 spark 对应的内容,有没有spark 的这个进程,首先这个master 对应的 spark 的master,worker 对应的就是 spark 的 worker。
再来看 Node02 当中,能注意到 worker 就是 spark worker, Node03当中,进入一下 Node03, jps ,
能看到在 Node03 上也有这个 worker 进程所以说明整个集群的启动是没有问题的。