Standalone+ZooKeeper 高可用部署_2

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: 快速学习 Standalone+ZooKeeper 高可用部署_2

开发者学堂课程【大数据实时计算框架 Spark 快速入门Standalone+ZooKeeper 高可用部署_2】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/100/detail/1656


Standalone+ZooKeeper 高可用部署_2


一、Standalone 集群模式


1.需要配置项

(1)slaves文件

Node22    node23   node24

image.png

(2)saprk-env.sh

export JAVA HOME=/usr / soft/jdk1. 7.0_71

export SPARK MASTER_IP=spark001

export SPARK MASTER_PORT=7077export SPARK_WORKER_CORES=1(就想让着一个物理节点里面只允许有一个 worker 进程)

export SPARK_WORKER_INSTANCES-1export SPARK_WORKER_MEMORY=1g(相当于 work 这一个角色可以使用的机器的多大内存)

image.png

假设有上图这五个进程,有一个 master 是主,不管是主还是从,都是一个线程。


二、页面查看


输入网址

image.png

一个集群里面  master  主有,executor  是用来跑程序,woeker  帮助  executor  进程。


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
4月前
|
开发工具
部署安装zookeeper集群
部署安装zookeeper集群
|
存储 Java Linux
Zookeeper分布式集群搭建(六)
Zookeeper分布式集群搭建(六)
113 0
Zookeeper分布式集群搭建(六)
|
Apache
Zookeeper单机模式和集群模式环境搭建
Zookeeper单机模式和集群模式环境搭建
156 0
|
Java Apache
ZooKeeper集群搭建
真实的集群是需要部署在不同的服务器上的,但是在我们测试时同时启动很多个虚拟机内存会吃不消,所以我们通常会搭建伪集群,也就是把所有的服务都搭建在一台虚拟机上,用端口进行区分。
|
云安全 Oracle Java
阿里云上部署zookeeper
阿里云上部署zookeeper
阿里云上部署zookeeper
|
分布式计算 监控 Hadoop
zookeeper 集群部署模式
zookeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 google chubby 的开源实现,是 hadoop 和 hbase 的重要组件。
262 0
|
存储 负载均衡 监控
Zookeeper 集群部署的那些事儿(1)
Zookeeper 集群部署的那些事儿
190 0
Zookeeper 集群部署的那些事儿(1)
|
网络协议 Linux 网络安全
Zookeeper 集群部署的那些事儿(2)
Zookeeper 集群部署的那些事儿
192 0
Zookeeper 集群部署的那些事儿(2)
|
Linux
搭建Zookeeper集群
搭建Zookeeper集群
153 0
|
缓存 分布式计算 Java
Standalone+ZooKeeper 高可用部署_1
快速学习 Standalone+ZooKeeper 高可用部署_1
123 0
Standalone+ZooKeeper 高可用部署_1
下一篇
DataWorks