引言
Redis是一款优秀的键值对、内存非关系型数据库，单机节点下的Redis存在无法保证高可用、容量不足等问题
上篇文章介绍的哨兵主要能够保证主从架构下Redis的可用性，但是仍然存在容量不足、推举新的主节点时不能访问Redis的问题，集群可水平扩展的功能解决容量不足的问题并且能够保证高可用
本篇文章将围绕Redis集群深入浅出的介绍集群的原理、如何使用集群、使用集群需要注意的地方，理解集群是如何支持水平扩展的以及如何保证高可用
集群原理
分片
Redis集群将数据空间分为16384个哈希槽slots，分布到各个主节点中，集群中的每个主节点负责一部分的哈希槽
需要注意的是使用集群后每个主节点只有一个数据库（单机节点情况下是可以设置多个数据库的）
当客户端对key进行读写时，通过CRC16校验后对16384取模来决定出Key所在槽【哈希槽 =CRC16(key) % 16384】，然后在去管理这个槽的主节点中读/写Key（各个redis节点之间通信保存这些槽编号信息）
主从--高可用
每个主节点管理部分的哈希槽，如果主节点发生宕机则这部分槽相关的数据就不可用了
为了提供可用性，需要有从节点来冗余数据保证可用性，因此可以把集群cluster理解成包含多个主从架构，每个主从架构负责管理一部分的哈希槽
主节点间互相发送消息维持心跳的同时交换信息，当节点发现某节点不响应时（可能下线），广播给其他主节点，其他主节点收到后与不响应的节点通信，当大多数主节点接收不到时（确认下线），广播信息给这个节点的所有从节点，从节点收到后根据raft算法推选新主节点
raft推举算法：
- 从节点收到后推举自己为新主节点广播给其他从节点
- 其他节点接到后，如果该节点还在自转则会投票给它，如果该节点已经推举别的节点了就不会响应
- 收到推举票后如果超过一定数量则成为新主节点，如果最高票相等则重复步骤1
还不熟悉的同学可以观看动画：raft算法动态展示
集群中默认情况下使用异步复制数据，即主节点处理客户端写命令时，并不等待从节点同步数据再响应，性能与强一致性不兼得
重定向
当使用命令行进入某主节点中请求写命令，该写命令可能所在的槽并不是当前主节点的，主节点会响应MOVED指令告诉该Key应该被哪个主节点处理
127.0.0.1:6379> set name cl (error) MOVED 5798 127.0.0.1:6380
当使用redis-cli -c进入客户端时，发生这种情况则会自动将Key重定向到对应主节点进行处理
水平扩展/收缩会导致节点的槽交给其他节点管理，这就会引起所在槽的Key发生迁移（迁移到新的节点中）
水平扩容/缩容
当发生水平扩展增加主节点时，会将其他主节点负责管理的哈希槽分配给新加入的主节点，删除节点类似，总要满足管理16384个槽，且集群中最少要求三个主节点
迁移是同步阻塞的，如果要迁移大Key将会发生卡顿，因此要尽量的减少大Key
如果发生迁移时，Key已经到达了新的节点，但是还未迁移完，槽与对应节点管理关系还未发生改动，这种情况下返回MOVED指令就会发生循环重定向（A：已经迁移了你去找B，B：还未迁移，你去找A），这种情况下会返回给客户端ACKING指令
ACKING指令能在数据迁移时，防止发生循环重定向
使用集群
集群最少要求三个主节点，所以我们搭建三主三从的集群
主节点端口号：6379，6380，6381
从节点端口号：6382，6383，6384
都在本地一台机器上进行模拟
1. 编写配置文件
#general daemonize yes loglevel verbose #logfile "6379.log" databases 16 #bind 47.108.181.237 port 6379 #密码 requirepass cl192243051 masterauth cl192243051 #rdb dir /usr/local/redis/redis-6.0.6/data dbfilename dump-6379.rdb rdbcompression yes rdbchecksum yes save 60 2 #aof appendonly yes appendfilename appendonly-6379.aof appendfsync everysec #memory maxmemory-policy noeviction #cluster 集群配置文件主要是这里 cluster-enabled yes #开启集群 cluster-config-file nodes-6379.conf #该节点产生的文件 cluster-node-timeout 10000 #如果该节点的master超时多少秒没反应就尝试推荐自己当master #关闭protected-mode模式 允许外网访问 protected-mode no
当编写好模板配置文件后，其他配置文件也是一致的只需要改变端口号
使用命令将redis-6379.conf文件中6379替换为6380生成新文件redis-6380.conf
sed "s/6379/6380/g" redis-6379.conf > redis-6380.conf
2. 启动所有节点
redis-server redis-6379.conf
3.搭建集群命令
#如果有密码使用参数-a #--cluster-replicas 1 表示每个主节点携带一个从节点 #后面跟所有节点的 IP:端口号（先主节点后从节点） #本地访问版 redis-cli --cluster create --cluster-replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 #外网访问版 redis-cli --cluster create --cluster-replicas 1 -a 密码 47.108.181.237:6379 47.108.181.237:6380 47.108.181.237:6381 47.108.181.237:6382 47.108.181.237:6383 47.108.181.237:6384
4. 客户端测试
客户端使用redis-cli 操作不在当前节点管理槽的key会响应moved信息
当集群模式时，进入客户端使用redis-cli -c 这样它会重定向到对应的节点中
写操作
127.0.0.1:6379> set name cl (error) MOVED 5798 127.0.0.1:6380 [root@Tcl ~]# redis-cli -c 127.0.0.1:6379> set name cl -> Redirected to slot [5798] located at 127.0.0.1:6380 OK 127.0.0.1:6380>
读操作
故意不去6380端口
[root@Tcl ~]# redis-cli -c -p 6381 127.0.0.1:6381> get name -> Redirected to slot [5798] located at 127.0.0.1:6380 "cl" 127.0.0.1:6380>
查看节点信息
在客户端使用命令cluster nodes可以查看节点信息
127.0.0.1:6380> cluster nodes 3c0b7cbc00846b8cca43dd94c55a0005d4d3113b 127.0.0.1:6380@16380 myself,master - 0 1638608629000 2 connected 5461-10922 207460275205f58d47dbf3528bc3c1dedd3ce59d 127.0.0.1:6379@16379 master - 0 1638608631377 1 connected 0-5460 d0eeaf81fcdcbaeee2f99c6598e00b239d796bea 127.0.0.1:6384@16384 slave 3c0b7cbc00846b8cca43dd94c55a0005d4d3113b 0 1638608630375 2 connected 86fcc49d8090bfcfea7a40241c6a78c4bcbc617a 127.0.0.1:6381@16381 master - 0 1638608629375 3 connected 10923-16383 449bceec97e103eafdfebade77decd92081a798b 127.0.0.1:6383@16383 slave 207460275205f58d47dbf3528bc3c1dedd3ce59d 0 1638608628372 1 connected 28f122d37e1bce60749326761a6ec7adc92e834b 127.0.0.1:6382@16382 slave 86fcc49d8090bfcfea7a40241c6a78c4bcbc617a 0 1638608631000 3 connected
6379主节点的从节点是6383
6380主节点的从节点是6364
6381主节点的从节点是6382
5. 模拟主从切换
现在模拟6379主机宕机,超时10s后它的从节点6383检测到主节点没响应,会发生主从切换
127.0.0.1:6380> cluster nodes 3c0b7cbc00846b8cca43dd94c55a0005d4d3113b 127.0.0.1:6380@16380 myself,master - 0 1638609049000 2 connected 5461-10922 207460275205f58d47dbf3528bc3c1dedd3ce59d 127.0.0.1:6379@16379 master,fail - 1638608946026 1638608941010 1 disconnected d0eeaf81fcdcbaeee2f99c6598e00b239d796bea 127.0.0.1:6384@16384 slave 3c0b7cbc00846b8cca43dd94c55a0005d4d3113b 0 1638609052351 2 connected 86fcc49d8090bfcfea7a40241c6a78c4bcbc617a 127.0.0.1:6381@16381 master - 0 1638609051000 3 connected 10923-16383 449bceec97e103eafdfebade77decd92081a798b 127.0.0.1:6383@16383 master - 0 1638609051347 7 connected 0-5460 28f122d37e1bce60749326761a6ec7adc92e834b 127.0.0.1:6382@16382 slave 86fcc49d8090bfcfea7a40241c6a78c4bcbc617a 0 1638609049343 3 connected
6379主机失败,而6383成为新的master
再启动6379主机,6379变成了6383的从机
同时也会更新其他节点中,这俩个节点关系变更的信息
6. spring boot整合jedis cluster
<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.7.0</version> </dependency>
@Configuration public class JedisClusterConfig { @Value("${spring.redis.cluster.nodes}") private String clusterNodes; @Value("${spring.redis.timeout}") private int timeout; @Value("${spring.redis.jedis.pool.max-idle}") private int maxIdle; @Value("${spring.redis.jedis.pool.max-wait}") private long maxWaitMillis; @Value("${spring.redis.maxAttempts}") private int maxAttempts; @Value("${spring.redis.password}") private String password; @Bean public JedisCluster getJedisCluster() { String[] cNodes = clusterNodes.split(","); Set<HostAndPort> nodes = new HashSet<HostAndPort>(); // 分割出集群节点 for (String node : cNodes) { String[] hp = node.split(":"); nodes.add(new HostAndPort(hp[0], Integer.parseInt(hp[1]))); } JedisPoolConfig jedisPoolConfig = new JedisPoolConfig(); jedisPoolConfig.setMaxIdle(maxIdle); jedisPoolConfig.setMaxWaitMillis(maxWaitMillis); // 创建集群对象 JedisCluster jedisCluster = new JedisCluster(nodes, timeout, timeout, maxAttempts, password, jedisPoolConfig); return jedisCluster; } }
接下来可以使用jediscluster调用api操作redis集群
集群注意事项
- 当有业务需要使用Set对象操作交集、并集时，要求key需要在相同的主节点中，使用
{}规范命名前缀，计算槽时只有括号中的内容才会被哈希（{}前缀相同，它们就会被分配到相同的槽中，由相同主节点处理） - mset、mget、事务等操作只有槽都被相同节点管理时才能使用，可以使用
{}相同前缀解决 - 集群下每个节点只有一个数据库
总结
本篇文章围绕Redis集群深入浅出的解析集群原理、使用集群以及注意事项
集群通过分片的策略，由多个节点管理集群中的16384个哈希槽，查询时先CRC16（key）% 16384计算key所在哈希槽，再去管理该哈希槽的主节点处理
为了保证集群的可用性，使用从节点冗余备份主节点数据，当发生确认下线时根据raft算法推举从节点发生主从切换，主从之间数据同步默认是异步的，性能和一致性不可兼得
由于Key不一定由当前服务端节点管理，服务端会使用MOVED指令重定向到管理key所在槽的节点
当发生水平扩容/缩容时，需要其他节点迁出/迁入部分管理的哈希槽，迁移是同步阻塞的，如果有大Key要迁移则会发生卡顿，使用ACKING指令防止迁移时发生循环重定向
最后
- 参考资料
- 《Redis深度历险》
- 《Redis设计与实现》
