分布式系统详解--框架(Zookeeper-简介和集群搭建)

本文涉及的产品
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
注册配置 MSE Nacos/ZooKeeper,182元/月
云原生网关 MSE Higress,422元/月
简介: 分布式系统详解--框架(Zookeeper-简介和集群搭建)

分布式系统详解--框架(Zookeeper-简介和集群搭建)

一、Zookeeper简介

1.1 Zookeeper是什么?

       Zookeeper是一个集中式服务,用于维护配置信息,命名提供分布式同步和提供组服务。所有这些类型的服务都已分布式应用程序的某种形式使用。每次实施他们都需要做很多工作来修复不可避免的错误和竞争条件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。奇数台。

ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口,代码在zookeeper-3.4.3\src\recipes。其中分布锁和队列有Java和C两个版本,选举只有Java版本。

1.2 设计目标

       ZooKeeper很简单ZooKeeper允许分布式进程通过共享的层级命名空间相互协调,该命名空间与标准文件系统类似地组织。ZooKeeper可以实现高吞吐量和低延迟数量。

ZooKeeper实现非常重视高性能,高可用性,严格有序的访问。

ZooKeeper被复制。与它协调的分布式进程一样,ZooKeeper本身也可以在称为集合的一组主机上进行复制。

 

1.3 数据模型和分层命名空间

ZooKeeper提供的名称空间非常类似于标准文件系统。名称是由斜杠(/)分隔的路径元素序列。ZooKeeper名称空间中的每个节点都由路径标识。

1.4 znode 节点有四种

普通znode: /name  /name (后者将前者覆盖)。

普通序列化znode: /name   /name  (一旦生成,系统自动序列化 /name.....1  /name.....2)。

临时znode :当session退出或者失效,则该节点失效。

临时序列化znode。

1.5 watcher 事件

事件(节点可以注册事件)删除节点、创建节点、更新节点

二、Zookeeper安装

2.1 下载ZooKeeper,可以到官网直接下载。本文下载   zookeeper-3.4.12.tar.gz

2.2 解压安装ZooKeeper。

tar -zxvf zookeeper-3.4.12.tar.gz

2.3 配置环境变量

vi /ect/profile 添加变量。

 

source /etc/profile  

选择./sbin/中的文件可以Tab出来就可以。

2.4 编辑 ./conf/zoo.cfg

mv ./conf/zoo_sample.cfg ./conf/zoo.cfg    (将前面模版改为zoo.cfg,进入进行修改)

vi ./conf/zoo.cfg

修改并添加下列属性:

tickTime=2000
dataDir=/home/zkdata
clientPort=2181
initLimit=5
syncLimit=2
server.1=MyLinux:2888:3888
server.2=centos01:2888:3888
server.3=centos02:2888:3888

2.5 复制zookeeper 到其他服务器机器上

scp ../zookeeper-3.4.12 centos01:/opt

scp ../zookeeper-3.4.12 centos02:/opt

2.6 修改centos01和centos02两台服务器中的环境变量配置。跟上面一致。

vi /etc/profile

2.7 创建文件目录 mkdir /home/zkdata

2.8 在新创建的文件夹下 /home/zkdata 创建文件myid 因为上面server配置的事情。

vi /home/zkdata/myid

在MyLinux服务器上 仅编写一个1,保存退出

在centos01服务器上 仅编写一个2,保存退出

在centos02服务器上 仅编写一个3,保存退出

2.9 启动

zkServer.sh start

zkServer.sh status 查看各自的状态。

解决状态显示报错:Error contacting service. It is probably not running问题。

(1)查看防火墙,或者直接进行重新关闭:service iptables stop

(2)查看自己的zoo.cfg 文件是否由配置错误

(3)一定要设置的目录中 ,就是上面的项目设置的目录中,/home/zkdata/myid 设置正确 1,2,3。

2.10 连接当前服务zkClin.sh  退出当前服务 quit

 

目录
相关文章
|
2月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
205 2
|
7月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,展现卓越性能与性价比。其轻量版满足国产化需求,兼具高性能与低成本,适用于多种场景,推动数据库技术革新与发展。
|
6月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
|
7月前
|
并行计算 PyTorch 算法框架/工具
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题,文章提出利用UCC和UCX等统一通信框架实现高效数据传输,并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战,如计算能力不平衡、内存容量差异及通信性能优化,文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性,但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开,供读者参考实践。
497 3
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
|
10月前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
11月前
|
存储 分布式计算 负载均衡
分布式计算模型和集群计算模型的区别
【10月更文挑战第18天】分布式计算模型和集群计算模型各有特点和优势,在实际应用中需要根据具体的需求和条件选择合适的计算架构模式,以达到最佳的计算效果和性能。
383 62
|
11月前
|
存储 运维 NoSQL
分布式读写锁的奥义:上古世代 ZooKeeper 的进击
本文作者将介绍女娲对社区 ZooKeeper 在分布式读写锁实践细节上的思考,希望帮助大家理解分布式读写锁背后的原理。
281 11
|
12月前
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
170 2
|
12月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
187 1
|
12月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
207 1

热门文章

最新文章