开发者学堂课程【大数据实时计算框架 Spark 快速入门:Standalone+ZooKeeper 高可用部署_2】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/100/detail/1656
Standalone+ZooKeeper 高可用部署_2
一、Standalone 集群模式
1.需要配置项
(1)slaves文件
Node22 node23 node24
(2)saprk-env.sh
export JAVA HOME=/usr / soft/jdk1. 7.0_71
export SPARK MASTER_IP=spark001
export SPARK MASTER_PORT=7077export SPARK_WORKER_CORES=1(就想让着一个物理节点里面只允许有一个 worker 进程)
export SPARK_WORKER_INSTANCES-1export SPARK_WORKER_MEMORY=1g(相当于 work 这一个角色可以使用的机器的多大内存)
假设有上图这五个进程,有一个 master 是主,不管是主还是从,都是一个线程。
二、页面查看
输入网址
一个集群里面 master 主有,executor 是用来跑程序,woeker 帮助 executor 进程。