Redis Cluster原理解析

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
全局流量管理 GTM,标准版 1个月
简介: Redis Cluster原理解析

前言

Redis 3.0之后,节点之间,通过去中心化的方式提供了完整的水平拆分、复制机制、failover故障转移,称为Redis Cluster

结构拓扑

Redis Cluster 由多个Redis节点组构成。不同节点组的数据独立,每个节点组可以看成拆分的一个分片、节点组本身,又包括,master节点、slave节点。

注意,相关的设计思路,在众多中间件的实现上都是如此的。

节点组内master和slave节点,异步复制,数据实时一致。只有master节点提供写服务,master、slave节点提供读服务。

image.png

如图所示,k-v 数据集合,被分为五份,称为slot(Redis Cluster 事实上是分为16384个slot)\

image.png

以图示为例,两个节点组,A、B分别为两个master节点,对外提供数据的读写服务。节点组内,双向箭头,代表节点间信息订阅,虚线箭头代表,主从复制 。\

节点间信息订阅,通过发布/订阅功能实现,共享数据分片和节点的对应关系,以及集群中每个节点的状态。

一致性配置

因为上文上述,Redis Cluster是一个去中心化的结构,那么如何保证一致性,是需要解决的问题。Redis Cluster通过引入两个自增变量epoch来处理。

  1. 配置信息数据结构

Redis Cluster每个节点都存储着集群的配置信息,存储在clusterState中,结构如图所示:

image.png

clusterState 记录了集群中某节点配置状态\

currentEpoch 表示整个集群当前最大版本号,集群信息随着变更,版本号会自增

nodes列出所有节点的信息

clusterNode记录每个节点的信息,其中包括节点版本epoch,版本描述

nodeId每个节点唯一个的id

  1. 信息交互

去中心化的结构,没有统一的配置中心,各个节点对于整个集群的认知来自信息的交互。如同区块链,去中心化

通过,Redis Cluster Bus进行交互信息。

水平拆分

不同节点分组,数据独立。Redis Cluster提供的方案让客户端能够路由到对应的位置。

  1. 数据分片

Redis Cluster提供分片16384个slot,每个分片负责其中一部分。每一条数据,根据key值通过数据分布算法,映射到16384中的一个,客户端根据slotId完成路由。

  1. 客户端路由

Redis Cluster的客户端,相比较单机客户端,在请求过程中,如果发现当前key不在对应的节点slot中,Redis会返回一个moved命令,告知正确路由信息。

客户端可以通过数次moved找到最终的路由地址。

  1. 分片的迁移

Redis Cluster节点组每个slot是确定的。但是当需要发生迁移时,通过命令原语完成操作。此处不深入,感兴趣可以官网了解下。

failover

同sentinel一样,Redis Cluster也提供了一套failover的完整的故障发现、故障转移、故障状态一致性保证。

  1. 故障发现

Redis Cluster通过bus,不断地节点间发起ping/pong交互,用于发现

  1. 故障确定

当A 和B C D 四个节点间,A,B断开,其余连接正常。A判断B是否正常的过程,是A收到所有的节点对于B的反馈,若包括自己认为B挂了,超过半数,则认为B挂了。

  1. slave选举

slave切换为master经过选举,首先要超过半数同意,如果太平均,就要通过优先级

  1. matser降级

当master机器不过接受信息,告知B已经为master,自己会降级到master

好了,今天就聊到这。更多的可以参考官方网站介绍。


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
8月前
|
NoSQL Java Redis
Redis进阶-Jedis以及Spring Boot操作 Redis 5.x Cluster
Redis进阶-Jedis以及Spring Boot操作 Redis 5.x Cluster
124 0
|
7月前
|
存储 运维 NoSQL
Redis Cluster集群模式部署
Redis Cluster集群模式部署
136 4
|
8月前
|
存储 监控 负载均衡
redis 集群 (主从复制 哨兵模式 cluster)
redis 集群 (主从复制 哨兵模式 cluster)
|
5月前
|
存储 NoSQL 算法
深入理解Redis分片Cluster原理
本文深入探讨了Redis Cluster的分片原理,作为Redis官方提供的高可用性和高性能解决方案,Redis Cluster通过数据分片和横向扩展能力,有效降低单个主节点的压力。
深入理解Redis分片Cluster原理
|
5月前
|
缓存 NoSQL 网络协议
【Azure Redis 缓存】Azure Redis Cluster 在增加分片数时失败分析
【Azure Redis 缓存】Azure Redis Cluster 在增加分片数时失败分析
|
5月前
|
缓存 NoSQL Redis
【Azure Redis 缓存】Windows版创建 Redis Cluster 实验 (精简版)
【Azure Redis 缓存】Windows版创建 Redis Cluster 实验 (精简版)
|
8月前
|
存储 NoSQL Redis
docker搭建Redis Cluster集群环境
docker搭建Redis Cluster集群环境
215 1
|
5月前
|
NoSQL Redis
Redis——单机迁移cluster集群如何快速迁移
Redis——单机迁移cluster集群如何快速迁移
166 0
|
8月前
|
存储 负载均衡 监控
redis 集群模式(redis cluster)介绍
redis 集群模式(redis cluster)介绍
|
8月前
|
存储 缓存 运维
软件体系结构 - 缓存技术(5)Redis Cluster
【4月更文挑战第20天】软件体系结构 - 缓存技术(5)Redis Cluster
192 10