redis cluster集群的数据分布原理

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: redis cluster集群的数据分布原理

一、redis集群的部署模式

redis cluster是redis官方提供的分布式集群解决方案,在3.0版本正式推出,主要解决在高并发、大流量场景下单机出现的性能问题,使用数据分片的集群方式将流量进行分割,达到分而治之的目的。

以下是部署模式示意图,一般情况下集群至少保证三主+三从的部署结构,任意一个master节点故障可以提升slave节点为master节点。

与传统的通过代理进行分布式分发的方案对比,缺少了代理层,架构上更加的简单,也减少了代理层在性能上的损耗和维护上的成本。

二、数据分布方案

既然是集群的模式,就必然涉及到数据分布的问题,哪个数据应该落在哪个分区必须有明确的数据分布计算负责,一般来说应用普遍的有两种方案:

1、使用key值对节点取余分区

这种方式与数据库分库分表的方案类似,提前规划好分区数量,然后使用hash(key)%N的方式决定数据应该落在哪一个数据分区上,N为节点数量。

这种方式操作起来非常的简单,只是在数据扩容的时候,需要进行数据关系的重新映射,需要对原有的数据进行迁移,在数据量比较大的情况下很不方便。

2、虚拟槽分区

redis并没有采用节点取余分区的方式,而是采用了虚拟槽分区的方式,虚拟槽分区方案是使用哈希函数将所有的数据映射到一个固定范围的整数集合中,整数在这里被定义为slot槽,在redis  cluster中范围是0~16383,集群中的每个节点负责其中一部分的slot,一般来说每个节点的slot数量比较平均,相差不大。

针对每一个数据的key,使用计算公式slot=CRC16(key)&16383计算其slot,然后根据slot在哪一个节点决定数据落在哪个分片上。

使用这种虚拟槽分区的方案有以下好处

  • 无需任何代理,预案数据信息由所有的节点各自维护。
  • 使用slot解除了数据和节点之间的耦合,简化了扩容和缩容的难度。
  • 各节点均可提供元数据的查询,客户端直连节点可以方便的查询元数据信息进行数据路由。

三、集群扩容流程

集群的扩容就是槽和数据在redis集群中的重新分配的过程,扩容主要涉及以下流程:

  1. 新建redis待加入集群的节点。
  2. 使用cluster meet命令让节点加入集群。
  3. 使用虚拟槽分区的方案重新计算各个节点所负责的槽位,确定槽和数据迁移计划。
  4. 向目标节点发送cluster setslot {slot} importing {sourceNodeId}命令,准备导入槽的数据。
  5. 向源节点发送cluster setslot {slot} migrating {targetNodeId}命令,让源节点准备迁出槽数据
  6. 源节点循环执行cluster  getkeysinslot {slot} {count}命令获取count个属于槽{slot}的key,然后通过migrate  {targetIp} {targetPort} "" 0 {tiemout} keys  {keys…}命令,把获取到的key通过pipeline迁移到目标节点。
  7. 使用cluster setslot {slot} node {targetNodeId}命令通知集群各节点迁移完成,slot的新的分配信息。

四、集群缩容流程

集群扩容的流程与扩容的流程一样都是涉及槽从一个节点被迁移到另外一个节点,不同的是集群扩容流程需要先新建新的节点,而缩容的流程则是需要下线节点,需要通知到集群中的其他节点下线节点的信息。

redis提供了redis-trib.rb工具用于通知节点下线,使用命令redis-trip.rb del-node {host:port} {downNodeId}

五、数据路由

为了保证性能,redis采用的是直连的方式,所发起请求的节点未必就是刚好对应数据槽所在的节点,所以就涉及到请求的重定向,在redis   cluser模式下,客户端向某个节点发起请求,节点会根据规则计划出对应的数据所在的槽,并且根据元数据信息确定槽所在的节点,然后回复MOVED重定向错误,客户端收到这个重定向以后就知道了对应数据应该落在哪个目标节点上,于是重新向目标节点发起请求,流程示意图如下:

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
1月前
|
NoSQL Redis
Redis的数据淘汰策略有哪些 ?
Redis 提供了 8 种数据淘汰策略,分为淘汰易失数据和淘汰全库数据两大类。易失数据淘汰策略包括:volatile-lru、volatile-lfu、volatile-ttl 和 volatile-random;全库数据淘汰策略包括:allkeys-lru、allkeys-lfu 和 allkeys-random。此外,还有 no-eviction 策略,禁止驱逐数据,当内存不足时新写入操作会报错。
62 16
|
13天前
|
存储 NoSQL Redis
redis主从集群与分片集群的区别
主从集群通过主节点处理写操作并向从节点广播读操作,从节点处理读操作并复制主节点数据,优点在于提高读取性能、数据冗余及故障转移。分片集群则将数据分散存储于多节点,根据规则路由请求,优势在于横向扩展能力强,提升读写性能与存储容量,增强系统可用性和容错性。主从适用于简单场景,分片适合大规模高性能需求。
25 5
|
1月前
|
缓存 NoSQL 关系型数据库
Redis和Mysql如何保证数据⼀致?
在项目中,为了解决Redis与Mysql的数据一致性问题,我们采用了多种策略:对于低一致性要求的数据,不做特别处理;时效性数据通过设置缓存过期时间来减少不一致风险;高一致性但时效性要求不高的数据,利用MQ异步同步确保最终一致性;而对一致性和时效性都有高要求的数据,则采用分布式事务(如Seata TCC模式)来保障。
59 14
|
27天前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
38 5
|
1月前
|
存储 NoSQL 算法
Redis分片集群中数据是怎么存储和读取的 ?
Redis集群采用哈希槽分区算法,共有16384个哈希槽,每个槽分配到不同的Redis节点上。数据操作时,通过CRC16算法对key计算并取模,确定其所属的槽和对应的节点,从而实现高效的数据存取。
49 13
|
1月前
|
存储 NoSQL Redis
Redis的数据过期策略有哪些 ?
Redis 采用两种过期键删除策略:惰性删除和定期删除。惰性删除在读取键时检查是否过期并删除,对 CPU 友好但可能积压大量过期键。定期删除则定时抽样检查并删除过期键,对内存更友好。默认每秒扫描 10 次,每次检查 20 个键,若超过 25% 过期则继续检查,单次最大执行时间 25ms。两者结合使用以平衡性能和资源占用。
45 11
|
1月前
|
监控 NoSQL 测试技术
【赵渝强老师】Redis的AOF数据持久化
Redis 是内存数据库,提供数据持久化功能,支持 RDB 和 AOF 两种方式。AOF 以日志形式记录每个写操作,支持定期重写以压缩文件。默认情况下,AOF 功能关闭,需在 `redis.conf` 中启用。通过 `info` 命令可监控 AOF 状态。AOF 重写功能可有效控制文件大小,避免性能下降。
|
1月前
|
存储 监控 NoSQL
【赵渝强老师】Redis的RDB数据持久化
Redis 是内存数据库,提供数据持久化功能以防止服务器进程退出导致数据丢失。Redis 支持 RDB 和 AOF 两种持久化方式,其中 RDB 是默认的持久化方式。RDB 通过在指定时间间隔内将内存中的数据快照写入磁盘,确保数据的安全性和恢复能力。RDB 持久化机制包括创建子进程、将数据写入临时文件并替换旧文件等步骤。优点包括适合大规模数据恢复和低数据完整性要求的场景,但也有数据完整性和一致性较低及备份时占用内存的缺点。
|
2月前
|
存储 数据采集 监控
将百万数据插入到 Redis,有哪些实现方案
【10月更文挑战第15天】将百万数据插入到 Redis 是一个具有挑战性的任务,但通过合理选择实现方案和进行性能优化,可以高效地完成任务。
123 0