Redis Cluster原理解析

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云解析 DNS,旗舰版 1个月
简介: Redis Cluster原理解析

前言

Redis 3.0之后,节点之间,通过去中心化的方式提供了完整的水平拆分、复制机制、failover故障转移,称为Redis Cluster

结构拓扑

Redis Cluster 由多个Redis节点组构成。不同节点组的数据独立,每个节点组可以看成拆分的一个分片、节点组本身,又包括,master节点、slave节点。

注意,相关的设计思路,在众多中间件的实现上都是如此的。

节点组内master和slave节点,异步复制,数据实时一致。只有master节点提供写服务,master、slave节点提供读服务。

image.png

如图所示,k-v 数据集合,被分为五份,称为slot(Redis Cluster 事实上是分为16384个slot)

image.png以图示为例,两个节点组,A、B分别为两个master节点,对外提供数据的读写服务。节点组内,双向箭头,代表节点间信息订阅,虚线箭头代表,主从复制 。

节点间信息订阅,通过发布/订阅功能实现,共享数据分片和节点的对应关系,以及集群中每个节点的状态。

一致性配置

因为上文上述,Redis Cluster是一个去中心化的结构,那么如何保证一致性,是需要解决的问题。Redis Cluster通过引入两个自增变量epoch来处理。

  1. 配置信息数据结构

Redis Cluster每个节点都存储着集群的配置信息,存储在clusterState中,结构如图所示:

image.pngclusterState 记录了集群中某节点配置状态

currentEpoch 表示整个集群当前最大版本号,集群信息随着变更,版本号会自增

nodes列出所有节点的信息

clusterNode记录每个节点的信息,其中包括节点版本epoch,版本描述

nodeId每个节点唯一个的id

  1. 信息交互

去中心化的结构,没有统一的配置中心,各个节点对于整个集群的认知来自信息的交互。如同区块链,去中心化

通过,Redis Cluster Bus进行交互信息。

水平拆分

不同节点分组,数据独立。Redis Cluster提供的方案让客户端能够路由到对应的位置。

  1. 数据分片

Redis Cluster提供分片16384个slot,每个分片负责其中一部分。每一条数据,根据key值通过数据分布算法,映射到16384中的一个,客户端根据slotId完成路由。

  1. 客户端路由

Redis Cluster的客户端,相比较单机客户端,在请求过程中,如果发现当前key不在对应的节点slot中,Redis会返回一个moved命令,告知正确路由信息。

客户端可以通过数次moved找到最终的路由地址。

  1. 分片的迁移

Redis Cluster节点组每个slot是确定的。但是当需要发生迁移时,通过命令原语完成操作。此处不深入,感兴趣可以官网了解下。

failover

同sentinel一样,Redis Cluster也提供了一套failover的完整的故障发现、故障转移、故障状态一致性保证。

  1. 故障发现

Redis Cluster通过bus,不断地节点间发起ping/pong交互,用于发现

  1. 故障确定

当A 和B C D 四个节点间,A,B断开,其余连接正常。A判断B是否正常的过程,是A收到所有的节点对于B的反馈,若包括自己认为B挂了,超过半数,则认为B挂了。

  1. slave选举

slave切换为master经过选举,首先要超过半数同意,如果太平均,就要通过优先级

  1. matser降级

当master机器不过接受信息,告知B已经为master,自己会降级到master

好了,今天就聊到这。更多的可以参考官方网站介绍。


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
23天前
|
存储 消息中间件 NoSQL
Redis数据结构:List类型全面解析
Redis数据结构——List类型全面解析:存储多个有序的字符串,列表中每个字符串成为元素 Eelement,最多可以存储 2^32-1 个元素。可对列表两端插入(push)和弹出(pop)、获取指定范围的元素列表等,常见命令。 底层数据结构:3.2版本之前,底层采用**压缩链表ZipList**和**双向链表LinkedList**;3.2版本之后,底层数据结构为**快速链表QuickList** 列表是一种比较灵活的数据结构,可以充当栈、队列、阻塞队列,在实际开发中有很多应用场景。
|
21天前
|
算法 Java 数据库连接
Java连接池技术,从基础概念出发,解析了连接池的工作原理及其重要性
本文详细介绍了Java连接池技术,从基础概念出发,解析了连接池的工作原理及其重要性。连接池通过复用数据库连接,显著提升了应用的性能和稳定性。文章还展示了使用HikariCP连接池的示例代码,帮助读者更好地理解和应用这一技术。
33 1
|
26天前
|
数据采集 存储 编解码
一份简明的 Base64 原理解析
Base64 编码器的原理,其实很简单,花一点点时间学会它,你就又消除了一个知识盲点。
67 3
|
7天前
|
API 持续交付 网络架构
深入解析微服务架构:原理、优势与实践
深入解析微服务架构:原理、优势与实践
11 0
|
8天前
|
存储 供应链 物联网
深入解析区块链技术的核心原理与应用前景
深入解析区块链技术的核心原理与应用前景
|
8天前
|
存储 供应链 安全
深度解析区块链技术的核心原理与应用前景
深度解析区块链技术的核心原理与应用前景
16 0
|
22天前
|
存储 NoSQL 关系型数据库
Redis的ZSet底层数据结构,ZSet类型全面解析
Redis的ZSet底层数据结构,ZSet类型全面解析;应用场景、底层结构、常用命令;压缩列表ZipList、跳表SkipList;B+树与跳表对比,MySQL为什么使用B+树;ZSet为什么用跳表,而不是B+树、红黑树、二叉树
|
23天前
|
供应链 安全 分布式数据库
探索区块链技术:从原理到应用的全面解析
【10月更文挑战第22天】 本文旨在深入浅出地探讨区块链技术,一种近年来引起广泛关注的分布式账本技术。我们将从区块链的基本概念入手,逐步深入到其工作原理、关键技术特点以及在金融、供应链管理等多个领域的实际应用案例。通过这篇文章,读者不仅能够理解区块链技术的核心价值和潜力,还能获得关于如何评估和选择适合自己需求的区块链解决方案的实用建议。
41 0
|
7天前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
25 2
|
1月前
|
缓存 Java 程序员
Map - LinkedHashSet&Map源码解析
Map - LinkedHashSet&Map源码解析
67 0

推荐镜像

更多
下一篇
无影云桌面