Redis Cluster集群应用与原理(下)

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Redis Cluster集群应用与原理(下)

1.3 redis cluster hash slot

任一节点宕机,不影响其余两节点。因为key找的是hash slot,而非节点。

redis cluster固定16384个槽位。

image.png

 // 获得对应hash slot
 public static int getSlot(String key) {
   if (key == null) {
     throw new JedisClusterOperationException("Slot calculation of null is impossible");
   }
   key = JedisClusterHashTagUtil.getHashTag(key);
   // 使用2的次幂的模运算符进行优化,等价于getCRC16(key)% 16384
   // 1.对key计算CRC16
   // 2.对16384取模
   return getCRC16(key) & (16384 - 1);
 }

redis cluster中每个master都持有部分slot,比如3个master,那每个master持5000多hash slot。

hash slot让node的增加移除更简单:

  • 增加master,就将其他master的hash slot移部分过去
  • 减少master,就将它的hash slot移到其他master


移动hash slot的成本也低。客户端API,可对指定数据,让他们走同一hash slot,通过hash tag实现。

节点间内部通信

通信原理

维护集群元数据。

集中式

集中式的集群元数据存储和维护

集群元数据集中式存储的典型的代表是大数据领域。

storm,分布式大数据实时计算引擎,集中式元数据存储架构,基于zookeeper 的集群维护元数据。

集群有很多元数据,包括hashslot- > node间映射表关系。还有master-> slave之间

关系,故障信息。


将集群元数据(节点信息,故障等)集中存储在某节点

优点

元数据更新和读取,时效性好。

一旦元数据变更,立即更新到集中式存储,其他节点读取时立即就可感知

  • 缺点
    所有的元数据的跟新压力全部集中在一个地方,可能会导致元数据的存储有压力


Redis cluster节点间采取的另一种称为

gossip协议

之间不断通信,保持整个集群所有节点的数据完整

优点

元数据更新较分散,不集中在一个地,更新请求会陆续打到所有节点,有一定延时,降低了压力。

缺点

元数据更新有延时,可能导致集群的一些操作滞后。

我们刚才做reshard,去做另外一个操作,会发现说,configuration error,达成一致。

10000端口

每个节点都有一个专门用于节点间通信的端口,就是自己提供服务的端口号+10000,比如7001,那么用于节点间通信的就是17001端口。

每隔节点每隔一段时间都会往另外几个节点发送ping消息,同时其他几点接收到ping之后返回pong。

交换的信息

故障信息,节点的增加和移除,hash slot信息等

gossip协议

  • gossip协议维护集群元数据
    所有节点都持一份元数据,不同节点如果出现元数据变更,就不断将元数据发给
    其他节点,让其他节点也进行元数据的变更。

meet

某节点发送meet给新加入的节点,让新节点加入集群,然后新节点就会开始与其他节点通信

redis-trib.rb add-node

其实内部就是发送了一个gossip meet消息给新节点,通知该节点加入集群

ping

每个节点都会频繁给其他节点发ping,其中包含自己的状态,还有维护的集群元数据,互相通过ping交换元数据。

ping很频繁,而且要携带一些元数据,可能会加重网络负担。

每个节点每s会执行10次ping,每次会选择5个最久没有通信节点。如果发现某节点通信延时达到

cluster_node_timeout / 2

那么立即发送ping,避免数据交换延时过长,落后的时间太长了。比如说,两节点之间已经10分钟没有交换数据,那么整个集群处于严重的元数据不一致的情况,就会有问题。所以cluster_node_timeout可以调节,如果调节比较大,那么会降低发送频率。


每次ping,一个是带上自己节点信息,还有就是带上1/10其他节点信息,发送出去,进行数据交换。至少包含3个其他节点的信息,最多包含总节点-2个其他节点的信息。


pong

返回ping和meet,包含自己的状态和其他信息,也可用于信息广播和更新

fail

某个节点判断另一个节点fail后,就发送fail给其他节点,通知其他节点,指定的节点宕机啦!

面向集群的Jedis内部实现原理

基于重定向的客户端

redis-cli -c,自动重定向

请求重定向

客户端可能会挑选任意一个Redis实例去发送命令,每个实例接收到命令,都会计算key对应的hash slot

若在本地就在本地处理,否则返回moved给客户端,让客户端重定向

cluster keyslot mykey

可查看一个key对应的hash slot是什么

用redis-cli的时候,可加入-c参数,支持自动的请求重定向,redis-cli接收到moved之后,会自动重定向到对应的节点执行命令


计算hash slot

计算hash slot的算法,就是根据key计算CRC16值,然后对16384取模,拿到对应的hash slot


用hash tag可以手动指定key对应的slot,同一个hash tag下的key,都会在一个hash slot中,比如set mykey1:{100}和set mykey2:{100}


hash slot查找

节点间通过gossip协议数据交换,就知道每个hash slot在哪个节点上

smart jedis

什么是smart jedis

基于重定向的客户端,很消耗网络IO,因大部分情况可能都会出现一次请求重定向,才能找到正确节点。


所以大部分客户端,比如jedis,都是smart。


本地维护一份hashslot -> node映射表缓存。

大部分情况直接走本地缓存,即可找到hashslot -> node,无需通过节点进行moved重定向。


Jedis Cluster原理

JedisCluster初始化时,会随机选个node,初始化hashslot -> node映射表;

同时为每个节点建个JedisPool连接池。


每次基于JedisCluster操作。

  1. 首先JedisCluster会在本地计算key的hashslot
  2. 然后在本地映射表找到对应节点
  3. 如果那个node正好还是持有那个hashslot,那就ok; 如果进行reshard,可能hashslot已不在那个node,就会返回moved

如果JedisCluter API发现对应的节点返回moved,那么利用该节点的元数据,更新本地的hashslot -> node映射表缓存


重复上面几个步骤,直到找到对应的节点,如果重试超过5次,那么就报错,JedisClusterMaxRedirectionException


jedis老版本,可能会出现在集群某个节点故障还没完成自动切换恢复时,频繁更新hash slot,频繁ping节点检查活跃,导致大量网络IO开销


jedis最新版本,对于这些过度的hash slot更新和ping,都进行了优化,避免了类似问题

hashslot迁移和ask重定向

如果hash slot正在迁移,那么会返回ask重定向给jedis


jedis接收到ask重定向之后,会重新定位到目标节点去执行,但是因为ask发生在hash slot迁移过程中,所以JedisCluster API收到ask是不会更新hashslot本地缓存


已经可以确定说,hashslot已经迁移完了,moved是会更新本地hashslot->node映射表缓存的

高可用性与主备切换原理

原理几乎跟哨兵类似

判断节点宕机

若一个节点认为另外一个节点宕机,即pfail - 主观宕机

若多个节点都认为另外一个节点宕机,即fail - 客观宕机

跟哨兵的原理几乎一样,sdown - odown


在cluster-node-timeout内,某个节点一直没有返回pong,那么就被认为pfail


若一个节点认为某个节点pfail,那么会在gossip ping消息中,ping给其他节点,若超过半数的节点都认为pfail,那么就会变成fail


从节点过滤

对宕机的master node,从其所有的slave node中,选择一个切换成master node

检查每个slave node与master node断开连接的时间,如果超过了

cluster-node-timeout * cluster-slave-validity-factor

那么就没有资格切换成master,这个也跟哨兵是一样的,从节点超时过滤的步骤

从节点选举

哨兵:对所有从节点进行排序,slave priority,offset,run id

每个从节点,都根据自己对master复制数据的offset,设置一个选举时间,offset越大(复制数据越多)的从节点,选举时间越靠前,优先进行选举


所有的master node开始slave选举投票,给要选举的slave投票,如果大部分

master node(N/2 + 1)

都投票给了某从节点,那么选举通过,该从节点可以切换成master

从节点执行主备切换,从节点切换为主节点

VS 哨兵

类似哨兵,所以redis cluster功能强大,直接集成了replication和sentinal功能。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
NoSQL 安全 测试技术
Redis游戏积分排行榜项目中通义灵码的应用实战
Redis游戏积分排行榜项目中通义灵码的应用实战
61 4
|
4月前
|
NoSQL Redis
Redis 执行 Lua保证原子性原理
Redis 执行 Lua 保证原子性原理
451 1
|
4月前
|
缓存 NoSQL Java
Redis深度解析:解锁高性能缓存的终极武器,让你的应用飞起来
【8月更文挑战第29天】本文从基本概念入手,通过实战示例、原理解析和高级使用技巧,全面讲解Redis这一高性能键值对数据库。Redis基于内存存储,支持多种数据结构,如字符串、列表和哈希表等,常用于数据库、缓存及消息队列。文中详细介绍了如何在Spring Boot项目中集成Redis,并展示了其工作原理、缓存实现方法及高级特性,如事务、发布/订阅、Lua脚本和集群等,帮助读者从入门到精通Redis,大幅提升应用性能与可扩展性。
91 0
|
26天前
|
存储 NoSQL Redis
redis主从集群与分片集群的区别
主从集群通过主节点处理写操作并向从节点广播读操作,从节点处理读操作并复制主节点数据,优点在于提高读取性能、数据冗余及故障转移。分片集群则将数据分散存储于多节点,根据规则路由请求,优势在于横向扩展能力强,提升读写性能与存储容量,增强系统可用性和容错性。主从适用于简单场景,分片适合大规模高性能需求。
40 5
|
1月前
|
监控 NoSQL 网络协议
【Azure Redis】部署在AKS中的应用,连接Redis高频率出现timeout问题
查看Redis状态,没有任何异常,服务没有更新,Service Load, CPU, Memory, Connect等指标均正常。在排除Redis端问题后,转向了AKS中。 开始调查AKS的网络状态。最终发现每次Redis客户端出现超时问题时,几乎都对应了AKS NAT Gateway的更新事件,而Redis服务端没有任何异常。因此,超时问题很可能是由于NAT Gateway更新事件导致TCP连接被重置。
|
1月前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
44 5
|
3月前
|
缓存 NoSQL Linux
redis的原理(三)
redis的原理(三)
redis的原理(三)
|
2月前
|
设计模式 NoSQL 网络协议
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
44 2
|
2月前
|
存储 缓存 NoSQL
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
74 1
|
2月前
|
存储 消息中间件 NoSQL
【redis】redis的特性和主要应用场景
【redis】redis的特性和主要应用场景
173 1