《循序渐进学Spark》一1.3 Spark 集群试运行

简介:

本节书摘来自华章出版社《循序渐进学Spark》一书中的第1章,第1.3节,作者   小象学院 杨 磊 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 


1.3 Spark 集群试运行

下面试运行Spark。

1)在Master主机上,分别启动Hadoop与Spark。

cd /usr/local/hadoop/sbin/

./start-all.sh

cd /usr/local/spark/sbin

./start-all.sh

2) 检查Master与Worker进程是否在各自节点上启动。在Master主机上,执行命令 jps,如图1-5所示。

450a86b2684ced8880f4bd9fd4f9ecc3255d0200

在Worker节点上,以Worker1为例,执行命令jps,如图1-6所示。

从图1-6中可以清晰地看到,Master进程与Worker及相关进程在各自节点上成功运行,Hadoop与Spark运行正常。

c06d060c3a13068cc1a6b44821811bcab7c46c29

3) 通过Spark Web UI查看集群状态。在浏览器中输入Master的IP与端口,打开Spark Web UI,如图1-7所示。

ca46dc73a42ea9a9cf28009ff38c512f2940912a

从图1-7中可以看到,当集群内仅有一个Worker节点时,Spark Web UI显示该节点处于Alive状态,CPU Cores为1,内存为1GB。 此页面会列出集群中所有启动后的Worker节点及应用的信息。

图1-7 Spark Web UI界面

4) 运行样例。Spark自带了一些样例程序可供试运行。在Spark根目录下,example/src/main文件夹中存放着Scala、Java、Python及用R语言编写的样例,用户可以运行其中的某个样例程序。先拷贝到Spark根目录下,然后执行bin/run-example [class] [params]即可。例如可以在Master主机命令行执行:

./run-example SparkPi 10

然后可以看到该应用的输出,在Spark Web UI上也可以查看应用的状态及其他信息。


 

相关文章
|
5月前
|
分布式计算 Linux Spark
179 Spark集群安装
179 Spark集群安装
36 0
|
4月前
|
分布式计算 监控 Java
Note_Spark_Day02:Standalone集群模式和使用IDEA开发应用程序
Note_Spark_Day02:Standalone集群模式和使用IDEA开发应用程序
51 0
|
7月前
|
分布式计算 大数据 Spark
基于Docker搭建大数据集群(四)Spark部署
基于Docker搭建大数据集群(四)Spark部署
|
2月前
|
分布式计算 数据处理 Scala
Spark 集群和 Scala 编程语言的关系
Spark 集群和 Scala 编程语言的关系
27 0
|
6月前
|
分布式计算 资源调度 Hadoop
Spark on Yarn集群模式搭建及测试
Spark on Yarn集群模式搭建及测试
153 0
|
7月前
|
分布式计算 资源调度 监控
Spark Yarn模式部署集群
Spark Yarn模式部署集群
49 1
|
7月前
|
分布式计算 监控 大数据
大数据Spark Standalone集群 2
大数据Spark Standalone集群
44 0
|
7月前
|
存储 分布式计算 资源调度
大数据Spark Standalone集群 1
大数据Spark Standalone集群
63 0
|
9月前
|
机器学习/深度学习 存储 分布式计算
spark集群 分类器 部署
spark集群 分类器 部署
|
11月前
|
存储 分布式计算 资源调度
Spark集群环境搭建(standalone模式)
Spark集群环境搭建(standalone模式)

相关实验场景

更多