Standalone+ZooKeeper 高可用部署_2

开发者学堂课程【大数据实时计算框架 Spark 快速入门：Standalone+ZooKeeper 高可用部署_2】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/100/detail/1656

Standalone+ZooKeeper 高可用部署_2

一、Standalone 集群模式

1.需要配置项

（1）slaves文件

Node22    node23   node24

（2）saprk-env.sh

export JAVA HOME=/usr / soft/jdk1. 7.0_71

export SPARK MASTER_IP=spark001

export SPARK MASTER_PORT=7077export SPARK_WORKER_CORES=1（就想让着一个物理节点里面只允许有一个 worker 进程）

export SPARK_WORKER_INSTANCES-1export SPARK_WORKER_MEMORY=1g（相当于 work 这一个角色可以使用的机器的多大内存）

假设有上图这五个进程，有一个 master 是主，不管是主还是从，都是一个线程。

二、页面查看

输入网址

一个集群里面  master  主有，executor  是用来跑程序，woeker  帮助  executor  进程。