本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！
- 🚀 魔都架构师 | 全网30W技术追随者
- 🔧 大厂分布式系统/数据中台实战专家
- 🏆 主导交易系统百万级流量调优 & 车联网平台架构
- 🧠 AIGC应用开发先行者 | 区块链落地实践者
- 🌍 以技术驱动创新，我们的征途是改变世界！
- 👉 实战干货：编程严选网
与memcached客户端支持分布式方案不同，Redis倾向于在服务端构建分布式存储。
0 Redis分布式集群架构
本文基于 jedis 3.1.0：
Redis分布式集群：
Redis Cluster是分布式且允许单点故障的Redis高级版：
- 无中心节点，可线性伸缩
- 节点间通过二进制协议通信，节点与客户端之间通过ASCII编码协议通信
- 数据放置策略：Redis Cluster将整个key的数值域分成4096个hash槽，每个节点上可存储一或多个hash槽，即当前Redis Cluster支持的最大节点数就是4096
Redis Cluster的分布式算法
crc16( key ) % HASH_SLOTS_NUMBER
整体设计
- 数据hash分布在不同Redis节点实例
- M/S切换采用Sentinel
- 写：只写master实例，从sentinel获取当前master实例
- 读：从Redis Node中基于权重选取一个Redis实例读取，失败/超时则轮询其他实例；Redis本就很好的支持读写分离，在单进程I/O场景，可有效避免主库阻塞风险
- 通过RPC服务访问，RPC server端封装了Redis客户端，客户端基于Jedis开发
数据一致性
Redis未提供CAS命令保障高并发场景下的数据一致性问题，不保证强一致性。
Redis Sharding是Redis Cluster诞生前业界普遍的多Redis实例集群方法，采用哈希算法将Redis数据的key散列，通过hash函数，特定key映射到特定Redis节点。Java redis客户端驱动jedis，支持Redis Sharding功能，即ShardedJedis及结合缓存池的ShardedJedisPool。
优点
简单，服务端的Redis实例彼此独立，相互无关联，每个Redis实例像单服务器一样运行，易线性扩展。
缺点
由于sharding处理放到客户端，规模扩大时极大运维挑战。
客户端sharding不支持动态增删节点。服务端Redis实例群拓扑结构有变化时，每个客户端都需重新调整。连接不能共享，当应用规模增大时，资源浪费制约优化。
1 数据分布算法
决定了多master节点时，数据咋分布到这些节点：
- 自动将数据分片，每个master放部分数据
- 提供内置高可用，部分master不可用时，还可继续工作
Redis cluster下的每个Redis开放两个端口：
- 6379
- 16379，用于节点间通信，即cluster bus集群总线。以故障检测、配置更新、故障转移授权。cluster bus用gossip二进制协议，用于节点间高效数据交换，占用更少网络带宽和处理时间
1.1 hash
计算指定 key 的 hash值，再对节点数量(3)取模。0、1、2三个结果打到对应mater node。 一个mater宕机，所有请求过来，会发现都基于最新的2个master取模，尝试取数据。导致大部分请求无法拿到有效缓存，流量涌入DB。
高并发下不可接受。并发下对节点3的流量无法走缓存，导致全走DB，DB会被压垮。任一master宕机，大量数据就需重新计算再写入缓存。某mater宕机，就导致数据全部失效。全部要重新对剩下2台master取模，再分布到其它节点。
1.2 一致性hash
自动缓存迁移、自动负载均衡。
可能集中在某个hash区间值多，导致大量数据涌入同个master，造成master热点问题，导致性能瓶颈。
同样是计算指定 key 的 hash值，然后用hash值在圆环对应各点(每点都有个hash值)对比，看hash值该落在这圆环的哪个部位。 key落在圆环后，顺时针寻找距离自己最近节点。
一致性hash算法保证任一master宕机，只有之前在那master上的数据会受影响，因为顺时针走，全部在之前master上找不到了。会顺时走到下个master，也找不到。
1/3的流量瞬间涌入DB，重新查询。几乎接近100%流量全部失效。
虚拟节点
给每个master做均匀分布的虚拟节点。每个区间内，大量数据均匀分布到不同节点，而非按顺时针顺序，全部涌入同一master。
1.3 redis cluster hash slot
任一节点宕机，不影响其余两节点。因为key找的hash slot，而非节点。redis cluster固定16384个槽位：
public class BinaryJedisCluster implements BinaryJedisClusterCommands, MultiKeyBinaryJedisClusterCommands, JedisClusterBinaryScriptingCommands, Closeable { public static final int HASHSLOTS = 16384;
// 获得对应hash slot public static int getSlot(String key) { key = JedisClusterHashTagUtil.getHashTag(key); // 使用2的次幂的模运算符进行优化，等价于getCRC16（key）％ 16384 // 1.对key计算CRC16 // 2.对16384取模 return getCRC16(key) & (16384 - 1); }
redis cluster中每个master都持有部分slot，如3个master，那每个master持5000多hash slot。 hash slot让node增加移除更简单：
- 增加master，将其他master的hash slot移部分过去
- 减少master，将它的hash slot移到其他master
移动hash slot的成本也低。
2 节点间内部通信
2.1 通信原理
维护集群元数据。
2.2 集中式
集中式的集群元数据存储和维护。集群元数据集中式存储的典型代表是大数据领域。
storm，分布式大数据实时计算引擎，集中式元数据存储架构，基于zk的集群维护元数据。 集群有很多元数据，包括hashslot- > node间映射表关系。还有master-> slave之间 关系，故障信息。
将集群元数据（节点信息，故障等）集中存储在某节点。
优点
元数据更新和读取，时效性好。一旦元数据变更，立即更新到集中式存储，其他节点读取时立即就可感知
缺点
所有的元数据的跟新压力全部集中在一个地方，可能会导致元数据的存储有压力
而Redis cluster节点间采取的另一种称为
3 gossip协议
节点之间不断通信，保持整个集群所有节点的数据完整。
3.1 优点
元数据更新较分散，不集中在一个地，更新请求会陆续打到所有节点，有一定延时，但降低压力。
3.2 缺点
元数据更新有延时，可能导致集群的一些操作滞后。
刚做reshard，去做另外一个操作，会发现configuration error，达成一致。
3.4 10000端口
每个节点都有一个专门用于节点间通信的端口，就是自己提供服务的端口号+10000，如7001，那么用于节点间通信的就是17001端口。
每隔节点每隔一段时间都会往另外几个节点发送ping消息，同时其他节点收到ping后返回pong。
3.5 交换的信息
故障信息，节点的增加和移除，hash slot信息等
3.6 维护集群元数据
所有节点都持一份元数据，不同节点如果出现元数据变更，就不断将元数据发给 其他节点，让其他节点也进行元数据变更。
3.7 meet
某节点发送meet给新加入的节点，让新节点加入集群，然后新节点就会开始与其他节点通信
redis-trib.rb add-node
内部就是发个gossip meet消息给新节点，通知该节点入集群。
ping
每个节点频繁给其他节点发ping，包含自己的状态，还有维护的集群元数据，互相通过ping交换元数据。
ping频繁且要携带一些元数据，可能加重网络负担。
每个节点每s执行10次ping，每次选择5个最久未通信的节点。若发现某节点通信延时达到：
cluster_node_timeout / 2
则立即发送ping，避免数据交换延时过长，落后的时间太长了。如两节点已10min未交换数据，则整个集群处严重元数据不一致。所以cluster_node_timeout可调节，若调节较大，则会降低发送频率。
每次ping，带上：
- 自己节点信息
- 1/10其他节点信息
发出去进行数据交换。至少包含3个其他节点的信息，最多包含【总节点-2】个其他节点的信息。
pong
返回ping和meet，包含自己的状态和其他信息，也可用于信息广播和更新
fail
某个节点判断另一个节点fail后，就发送fail给其他节点，通知其他节点，指定的节点宕机啦！
4 集群下的Jedis实现
4.1 基于重定向的客户端
redis-cli -c
自动重定向
4.2 请求重定向
客户端可能挑选任一Redis实例去发送命令，每个实例接收到命令，计算key对应hash slot：
- 若在本地就在本地处理
- 否则返回moved给客户端，让客户端重定向
cluster keyslot mykey
可查看一个key对应的hash slot是啥。
用redis-cli时，可加入-c参数，支持自动的请求重定向，redis-cli接收到moved后，会自动重定向到对应的节点执行命令。
计算hash slot
根据key计算CRC16值，再对16384取模，拿到对应hash slot。
public class JedisClusterCRC16 { public static int getSlot(String key) { int s = key.indexOf("{"); if (s > -1) { int e = key.indexOf("}", s+1); if (e > -1 && e != s+1) { key = key.substring(s+1, e); } } // 等价于getCRC16(key) % 16384 return getCRC16(key) & (16384 - 1); } }
用hash tag可手动指定key对应slot，同一hash tag下的key都在同一hash slot。
客户端API可指定数据走同一hash slot，通过hash tag实现，如：
set mykey1:{100} set mykey2:{100}
hash slot查找
节点间通过gossip协议数据交换，就知每个hash slot在啥节点。
5 smart jedis
简介
基于重定向的客户端，很消耗网络IO，因大部分情况可能都会出现一次请求重定向，才能找到正确节点。
所以大部分客户端，如jedis都是smart：
- 本地维护一份hashslot -> node映射表缓存
- 大部分情况直接走本地缓存找到hashslot -> node，无需通过节点来moved重定向。
Jedis Cluster原理
JedisCluster初始化时，随机选个node，初始化hashslot -> node映射表； 同时为每个节点建个JedisPool连接池。
每次基于JedisCluster操作。
- 首先JedisCluster会在本地计算key的hashslot
- 然后在本地映射表找到对应节点
- 若那node正好还是持有那个hashslot，就ok
- 若进行reshard，可能hashslot已不在那node，就返回moved
如果JedisCluter API发现对应的节点返回moved，那么利用该节点的元数据，更新本地的hashslot -> node映射表缓存
重复上面步骤，直到找到对应节点，若重试超过5次就报JedisClusterMaxRedirectionsException。
public class JedisCluster implements JedisCommands, BasicCommands, Closeable { public static final short HASHSLOTS = 16384; private static final int DEFAULT_TIMEOUT = 1; private static final int DEFAULT_MAX_REDIRECTIONS = 5; }
jedis老版本，可能会出现在集群某节点故障还没完成自动切换恢复时，频繁更新hash slot，频繁ping节点检查活跃，导致大量网络IO开销。
jedis最新版本，对于这些过度的hash slot更新和ping都进行优化，避免类似问题。
hashslot迁移和ask重定向
如果hash slot正在迁移，那么会返回ask重定向给jedis
jedis接收到ask重定向之后，会重新定位到目标节点去执行，但是因为ask发生在hash slot迁移过程中，所以JedisCluster API收到ask是不会更新hashslot本地缓存
已经可以确定说，hashslot已经迁移完了，moved是会更新本地hashslot->node映射表缓存的
6 高可用性与主备切换原理
原理类似哨兵。
6.1 判断节点宕机
- 若一个节点认为另外一个节点宕机，即
pfail- 主观宕机 - 若多个节点都认为另外一个节点宕机，即
fail- 客观宕机
跟哨兵原理一样：sdown - odown。
在cluster-node-timeout内，某节点一直未返回pong，就认为pfail
若一个节点认为某个节点pfail，那么会在gossip ping消息中，ping给其他节点，若超过半数的节点都认为pfail，就变成fail
6.2 从节点过滤
对宕机的master node，从其所有的slave node中，选择一个切换成master node
检查每个slave node与master node断开连接的时间，如果超过了
cluster-node-timeout * cluster-slave-validity-factor
那么就没有资格切换成master，这个也跟哨兵是一样的，从节点超时过滤的步骤
6.3 从节点选举
★哨兵：对所有从节点进行排序，slave priority，offset，run id
”
每个从节点，都根据自己对master复制数据的offset，设置一个选举时间，offset越大（复制数据越多）的从节点，选举时间越靠前，优先进行选举
所有的master node开始slave选举投票，给要选举的slave投票，如果大部分
master node（N/2 + 1）
都投票给了某从节点，那么选举通过，该从节点可以切换成master
从节点执行主备切换，从节点切换为主节点
6.4 V.S 哨兵
直接集成了replication和sentinal功能。
Redis Cluster是一种服务端Sharding技术，3.0版开始正式提供。采用slot槽概念，共分16384个槽。将请求发送到任意节点，接收到请求的节点会将查询请求发送到正确的节点上执行。
方案说明
- 通过哈希，将数据分片，每个节点均分存储一定哈希槽(哈希值区间)的数据，默认分配16384个槽位
- 每份数据分片会存储在多个互为主从的多节点上
- 数据写入先写主节点，再同步到从节点(可配置为阻塞同步)
- 同一分片，在多个节点间的数据不保持强一致性
- 读取数据时，当客户端操作的key没有分配在该节点，redis会返回转向指令，指向正确节点
- 扩容时，需要把旧节点的数据迁移一部分到新节点
优点
- 无中心架构，支持动态扩容，对业务透明
- 具备Sentinel的监控和自动Failover(故障转移)能力
- 客户端不需要连接集群所有节点，连接集群中任何一个可用节点即可
- 高性能，客户端直连redis服务，免去proxy损耗
缺点
- 运维复杂，数据迁移需要人工干预
- 只能用0号数据库
- 不支持批量操作(pipeline管道)
- 分布式逻辑和存储模块耦合
