前言
Redis 3.0之后,节点之间,通过去中心化的方式提供了完整的水平拆分、复制机制、failover故障转移,称为Redis Cluster
结构拓扑
Redis Cluster 由多个Redis节点组构成。不同节点组的数据独立,每个节点组可以看成拆分的一个分片、节点组本身,又包括,master节点、slave节点。
注意,相关的设计思路,在众多中间件的实现上都是如此的。
节点组内master和slave节点,异步复制,数据实时一致。只有master节点提供写服务,master、slave节点提供读服务。
如图所示,k-v 数据集合,被分为五份,称为slot(Redis Cluster 事实上是分为16384个slot)
以图示为例,两个节点组,A、B分别为两个master节点,对外提供数据的读写服务。节点组内,双向箭头,代表节点间信息订阅,虚线箭头代表,主从复制 。
节点间信息订阅,通过发布/订阅功能实现,共享数据分片和节点的对应关系,以及集群中每个节点的状态。
一致性配置
因为上文上述,Redis Cluster是一个去中心化的结构,那么如何保证一致性,是需要解决的问题。Redis Cluster通过引入两个自增变量epoch来处理。
- 配置信息数据结构
Redis Cluster每个节点都存储着集群的配置信息,存储在clusterState中,结构如图所示:
clusterState 记录了集群中某节点配置状态
currentEpoch 表示整个集群当前最大版本号,集群信息随着变更,版本号会自增
nodes列出所有节点的信息
clusterNode记录每个节点的信息,其中包括节点版本epoch,版本描述
nodeId每个节点唯一个的id
- 信息交互
去中心化的结构,没有统一的配置中心,各个节点对于整个集群的认知来自信息的交互。如同区块链,去中心化
通过,Redis Cluster Bus进行交互信息。
水平拆分
不同节点分组,数据独立。Redis Cluster提供的方案让客户端能够路由到对应的位置。
- 数据分片
Redis Cluster提供分片16384个slot,每个分片负责其中一部分。每一条数据,根据key值通过数据分布算法,映射到16384中的一个,客户端根据slotId完成路由。
- 客户端路由
Redis Cluster的客户端,相比较单机客户端,在请求过程中,如果发现当前key不在对应的节点slot中,Redis会返回一个moved命令,告知正确路由信息。
客户端可以通过数次moved找到最终的路由地址。
- 分片的迁移
Redis Cluster节点组每个slot是确定的。但是当需要发生迁移时,通过命令原语完成操作。此处不深入,感兴趣可以官网了解下。
failover
同sentinel一样,Redis Cluster也提供了一套failover的完整的故障发现、故障转移、故障状态一致性保证。
- 故障发现
Redis Cluster通过bus,不断地节点间发起ping/pong交互,用于发现
- 故障确定
当A 和B C D 四个节点间,A,B断开,其余连接正常。A判断B是否正常的过程,是A收到所有的节点对于B的反馈,若包括自己认为B挂了,超过半数,则认为B挂了。
- slave选举
slave切换为master经过选举,首先要超过半数同意,如果太平均,就要通过优先级
- matser降级
当master机器不过接受信息,告知B已经为master,自己会降级到master
好了,今天就聊到这。更多的可以参考官方网站介绍。