【深入解读Redis系列】Redis系列(五):切片集群详解(下)

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 【深入解读Redis系列】Redis系列(五):切片集群详解(下)

详细说说哈希槽

Redis 哈希槽是 Redis 集群中用于分片数据的一种机制。哈希槽的概念可以简单理解为一种数据分片的方式,将所有的数据分散存储在多个节点上,以实现数据的高可用和扩展性。

Redis 集群中共有 16384 个哈希槽,每个槽可以存储一个键值对。当有新的键值对需要存储时,Redis 使用一致性哈希算法将键映射到一个哈希槽中。每个 Redis 节点负责管理一部分哈希槽,节点之间通过 Gossip 协议来进行信息交换,以保证集群的一致性。

在 Redis 集群中,当一个节点宕机或者新增加一个节点时,哈希槽会重新分配。集群会自动将宕机节点上的槽重新分配给其他节点,并且保证每个节点分配的槽数尽量均等。这样可以保证数据的高可用性和负载均衡。

使用 Redis 哈希槽的好处是可以方便地扩展集群的容量,当数据量增大时,可以通过增加节点来分担数据的存储压力。同时,由于哈希槽的分配是自动的,所以对于应用程序而言是透明的,不需要额外的逻辑来处理数据分片。

手动分配哈希槽

示意图中的切片集群一共有 3 个实例,假设有 5 个哈希槽,我们可以通过下面的命令手动分配哈希槽:实例 1 保存哈希槽 0 和 1,实例 2 保存哈希槽 2 和 3,实例 3 保存哈希槽 4。

redis-cli -h 172.16.19.3 –p 6379 cluster addslots 0,1
redis-cli -h 172.16.19.4 –p 6379 cluster addslots 2,3
redis-cli -h 172.16.19.5 –p 6379 cluster addslots 4

在集群运行的过程中,key1 和 key2 计算完 CRC16 值后,对哈希槽总个数 5 取模,再根据各自的模数结果,就可以被映射到对应的实例 1 和实例 3 上了。

!! 在手动分配哈希槽时,需要把 16384 个槽都分配完,否则 Redis 集群无法正常工作。

客户端如何定位数据?

在 Redis 集群中,客户端定位数据的过程如下:

  1. 客户端根据键使用一致性哈希算法(Consistent Hashing)计算哈希值。
  2. 根据哈希值,客户端将键映射到某个哈希槽。
  3. 客户端向集群的其中一个节点发送命令请求。
  4. 接收到请求的节点根据哈希槽的分配信息,确定哪个节点负责管理该哈希槽。
  5. 负责该哈希槽的节点将命令请求转发给对应的数据节点。
  6. 数据节点执行命令,将结果返回给负责该哈希槽的节点。
  7. 负责该哈希槽的节点将结果返回给客户端。

通过这个过程,客户端可以定位到存储在 Redis 集群中的数据,并且可以与集群进行交互。这种方式使得客户端可以直接与任意一个节点进行通信,而不需要知道具体的数据分布和节点拓扑。

一致性哈希算法是用来解决数据分片和负载均衡的常用方法,它可以将数据均匀地分布到不同的节点上,避免某个节点负载过高。同时,当节点发生故障或者新增节点时,一致性哈希算法可以最小化数据的迁移量,使得集群可以快速调整和恢复。

需要注意的是,Redis 集群的客户端不需要手动实现一致性哈希算法,因为该算法已经由 Redis 集群内部实现。客户端只需要使用对应的库或驱动程序,如redis-py-cluster库,来连接 Redis 集群,并且直接使用普通的 Redis 命令进行数据操作。库会自动处理数据的定位和节点间的转发。

Moved 重定向命令

在 Redis 集群中,当客户端向一个节点发送命令请求时,如果该节点不负责处理该命令所涉及的哈希槽,它会返回一个 MOVED 重定向错误。

MOVED 重定向错误包含了正确的节点信息,告诉客户端应该向哪个节点重新发送命令。客户端可以根据 MOVED 错误中的信息,更新自己的节点映射表,然后重新发送命令到正确的节点。

以下是一个使用 Python 的 redis-py 库处理 MOVED 重定向错误的示例:

import redis
# 创建Redis集群连接
cluster = redis.RedisCluster(host='127.0.0.1', port=7000)
# 存储数据
cluster.set('key1', 'value1')
# 获取数据
try:
    value = cluster.get('key1')
    print(value)
except redis.exceptions.RedisClusterError as e:
    if isinstance(e, redis.exceptions.ResponseError) and e.args[0].startswith('MOVED'):
        # 解析MOVED错误信息
        _, slot, addr = e.args[0].split()
        host, port = addr.rsplit(':', 1)
        # 更新节点映射表
        cluster.connection_pool.nodes.set_node(host, int(port))
        # 重新发送命令
        value = cluster.get('key1')
        print(value)
# 关闭连接
cluster.close()

在以上示例中,如果客户端收到一个 MOVED 错误,它会解析错误信息,获取正确的节点地址,并更新节点映射表。然后,客户端可以重新发送命令到正确的节点进行数据操作。

需要注意的是,MOVED 重定向错误只会在 Redis 集群模式下发生,单机模式不会出现该错误。因此,只有在使用 Redis 集群时,才需要处理 MOVED 重定向错误。在实际开发中,可以使用相应的库或驱动程序来自动处理 MOVED 错误,而无需手动编写处理逻辑。

ASK 命令

在 Redis 集群中,当客户端向一个节点发送一个不可处理的命令时,节点会返回一个 ASK 错误,指示客户端应该向指定的节点发送命令。客户端可以根据 ASK 错误中的信息,更新自己的节点映射表,并将命令发送到正确的节点上。

以下是一个使用 Python 的 redis-py 库处理 ASK 命令的示例:

import redis
# 创建Redis集群连接
cluster = redis.RedisCluster(host='127.0.0.1', port=7000)
# 存储数据
cluster.set('key1', 'value1')
# 获取数据
try:
    value = cluster.get('key1')
    print(value)
except redis.exceptions.RedisClusterError as e:
    if isinstance(e, redis.exceptions.ResponseError) and e.args[0].startswith('ASK'):
        # 解析ASK错误信息
        _, slot, addr = e.args[0].split()
        host, port = addr.rsplit(':', 1)
        # 更新节点映射表
        cluster.connection_pool.nodes.set_node(host, int(port))
        # 重新发送命令
        value = cluster.get('key1')
        print(value)
# 关闭连接
cluster.close()

在以上示例中,如果客户端收到一个 ASK 错误,它会解析错误信息,获取正确的节点地址,并更新节点映射表。然后,客户端可以重新发送命令到正确的节点进行数据操作。

需要注意的是,ASK 命令只会在 Redis 集群模式下发生,单机模式不会出现该错误。因此,只有在使用 Redis 集群时,才需要处理 ASK 命令。在实际开发中,可以使用相应的库或驱动程序来自动处理 ASK 错误,而无需手动编写处理逻辑。

举个例子

可以看到,由于负载均衡,Slot 2 中的数据已经从实例 2 迁移到了实例 3,但是,客户端缓存仍然记录着“Slot 2 在实例 2”的信息,所以会给实例 2 发送命令。实例 2 给客户端返回一条 MOVED 命令,把 Slot 2 的最新位置(也就是在实例 3 上),返回给客户端,客户端就会再次向实例 3 发送请求,同时还会更新本地缓存,把 Slot 2 与实例的对应关系更新过来。

需要注意的是,在上图中,当客户端给实例 2 发送命令时,Slot 2 中的数据已经全部迁移到了实例 3。在实际应用时,如果 Slot 2 中的数据比较多,就可能会出现一种情况:客户端向实例 2 发送请求,但此时,Slot 2 中的数据只有一部分迁移到了实例 3,还有部分数据没有迁移。在这种迁移部分完成的情况下,客户端就会收到一条 ASK 报错信息,如下所示:

GET hello:key
(error) ASK 13320 172.16.19.5:6379

这个结果中的 ASK 命令就表示,客户端请求的键值对所在的哈希槽 13320,在 172.16.19.5 这个实例上,但是这个哈希槽正在迁移。此时,客户端需要先给 172.16.19.5 这个实例发送一个 ASKING 命令。这个命令的意思是,让这个实例允许执行客户端接下来发送的命令。然后,客户端再向这个实例发送 GET 命令,以读取数据。

ASK 命令详解

在下图中,Slot 2 正在从实例 2 往实例 3 迁移,key1 和 key2 已经迁移过去,key3 和 key4 还在实例 2。客户端向实例 2 请求 key2 后,就会收到实例 2 返回的 ASK 命令。

ASK 命令表示两层含义:第一,表明 Slot 数据还在迁移中;第二,ASK 命令把客户端所请求数据的最新实例地址返回给客户端,此时,客户端需要给实例 3 发送 ASKING 命令,然后再发送操作命令。

和 MOVED 命令不同,ASK 命令并不会更新客户端缓存的哈希槽分配信息。所以,在上图中,如果客户端再次请求 Slot 2 中的数据,它还是会给实例 2 发送请求。这也就是说,ASK 命令的作用只是让客户端能给新实例发送一次请求,而不像 MOVED 命令那样,会更改本地缓存,让后续所有命令都发往新实例。

参考资料

[1]

系列文章地址: https://blog.zysicyj.top/categories/技术文章/后端技术/系列文章/Redis/

本文由 mdnice 多平台发布


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
6月前
|
存储 缓存 NoSQL
Redis常见面试题(二):redis分布式锁、redisson、主从一致性、Redlock红锁;Redis集群、主从复制,哨兵模式,分片集群;Redis为什么这么快,I/O多路复用模型
redis分布式锁、redisson、可重入、主从一致性、WatchDog、Redlock红锁、zookeeper;Redis集群、主从复制,全量同步、增量同步;哨兵,分片集群,Redis为什么这么快,I/O多路复用模型——用户空间和内核空间、阻塞IO、非阻塞IO、IO多路复用,Redis网络模型
Redis常见面试题(二):redis分布式锁、redisson、主从一致性、Redlock红锁;Redis集群、主从复制,哨兵模式,分片集群;Redis为什么这么快,I/O多路复用模型
|
5月前
|
监控 NoSQL Redis
看完这篇就能弄懂Redis的集群的原理了
看完这篇就能弄懂Redis的集群的原理了
211 0
|
1月前
|
存储 NoSQL Redis
redis主从集群与分片集群的区别
主从集群通过主节点处理写操作并向从节点广播读操作,从节点处理读操作并复制主节点数据,优点在于提高读取性能、数据冗余及故障转移。分片集群则将数据分散存储于多节点,根据规则路由请求,优势在于横向扩展能力强,提升读写性能与存储容量,增强系统可用性和容错性。主从适用于简单场景,分片适合大规模高性能需求。
59 5
|
6月前
|
存储 NoSQL 算法
Redis 集群模式搭建
Redis 集群模式搭建
112 5
|
6月前
|
存储 缓存 NoSQL
高并发架构设计三大利器:缓存、限流和降级问题之Redis用于搭建分布式缓存集群问题如何解决
高并发架构设计三大利器:缓存、限流和降级问题之Redis用于搭建分布式缓存集群问题如何解决
116 1
|
5月前
|
NoSQL Redis
Redis——单机迁移cluster集群如何快速迁移
Redis——单机迁移cluster集群如何快速迁移
167 0
|
5月前
|
NoSQL Linux Redis
使用docker-compose搭建redis-cluster集群
使用docker-compose搭建redis-cluster集群
646 0
|
5月前
|
NoSQL Linux Redis
基于redis6搭建集群
基于redis6搭建集群
|
6月前
|
消息中间件 监控 NoSQL
Redis哨兵改集群
【7月更文挑战第7天】