redis cluster集群的数据分布原理

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: redis cluster集群的数据分布原理

一、redis集群的部署模式

redis cluster是redis官方提供的分布式集群解决方案,在3.0版本正式推出,主要解决在高并发、大流量场景下单机出现的性能问题,使用数据分片的集群方式将流量进行分割,达到分而治之的目的。

以下是部署模式示意图,一般情况下集群至少保证三主+三从的部署结构,任意一个master节点故障可以提升slave节点为master节点。

与传统的通过代理进行分布式分发的方案对比,缺少了代理层,架构上更加的简单,也减少了代理层在性能上的损耗和维护上的成本。

二、数据分布方案

既然是集群的模式,就必然涉及到数据分布的问题,哪个数据应该落在哪个分区必须有明确的数据分布计算负责,一般来说应用普遍的有两种方案:

1、使用key值对节点取余分区

这种方式与数据库分库分表的方案类似,提前规划好分区数量,然后使用hash(key)%N的方式决定数据应该落在哪一个数据分区上,N为节点数量。

这种方式操作起来非常的简单,只是在数据扩容的时候,需要进行数据关系的重新映射,需要对原有的数据进行迁移,在数据量比较大的情况下很不方便。

2、虚拟槽分区

redis并没有采用节点取余分区的方式,而是采用了虚拟槽分区的方式,虚拟槽分区方案是使用哈希函数将所有的数据映射到一个固定范围的整数集合中,整数在这里被定义为slot槽,在redis  cluster中范围是0~16383,集群中的每个节点负责其中一部分的slot,一般来说每个节点的slot数量比较平均,相差不大。

针对每一个数据的key,使用计算公式slot=CRC16(key)&16383计算其slot,然后根据slot在哪一个节点决定数据落在哪个分片上。

使用这种虚拟槽分区的方案有以下好处

  • 无需任何代理,预案数据信息由所有的节点各自维护。
  • 使用slot解除了数据和节点之间的耦合,简化了扩容和缩容的难度。
  • 各节点均可提供元数据的查询,客户端直连节点可以方便的查询元数据信息进行数据路由。

三、集群扩容流程

集群的扩容就是槽和数据在redis集群中的重新分配的过程,扩容主要涉及以下流程:

  1. 新建redis待加入集群的节点。
  2. 使用cluster meet命令让节点加入集群。
  3. 使用虚拟槽分区的方案重新计算各个节点所负责的槽位,确定槽和数据迁移计划。
  4. 向目标节点发送cluster setslot {slot} importing {sourceNodeId}命令,准备导入槽的数据。
  5. 向源节点发送cluster setslot {slot} migrating {targetNodeId}命令,让源节点准备迁出槽数据
  6. 源节点循环执行cluster  getkeysinslot {slot} {count}命令获取count个属于槽{slot}的key,然后通过migrate  {targetIp} {targetPort} "" 0 {tiemout} keys  {keys…}命令,把获取到的key通过pipeline迁移到目标节点。
  7. 使用cluster setslot {slot} node {targetNodeId}命令通知集群各节点迁移完成,slot的新的分配信息。

四、集群缩容流程

集群扩容的流程与扩容的流程一样都是涉及槽从一个节点被迁移到另外一个节点,不同的是集群扩容流程需要先新建新的节点,而缩容的流程则是需要下线节点,需要通知到集群中的其他节点下线节点的信息。

redis提供了redis-trib.rb工具用于通知节点下线,使用命令redis-trip.rb del-node {host:port} {downNodeId}

五、数据路由

为了保证性能,redis采用的是直连的方式,所发起请求的节点未必就是刚好对应数据槽所在的节点,所以就涉及到请求的重定向,在redis   cluser模式下,客户端向某个节点发起请求,节点会根据规则计划出对应的数据所在的槽,并且根据元数据信息确定槽所在的节点,然后回复MOVED重定向错误,客户端收到这个重定向以后就知道了对应数据应该落在哪个目标节点上,于是重新向目标节点发起请求,流程示意图如下:

相关文章
|
存储 缓存 NoSQL
Redis 服务器全方位介绍:从入门到核心原理
Redis是一款高性能内存键值数据库,支持字符串、哈希、列表等多种数据结构,广泛用于缓存、会话存储、排行榜及消息队列。其单线程事件循环架构保障高并发与低延迟,结合RDB和AOF持久化机制兼顾性能与数据安全。通过主从复制、哨兵及集群模式实现高可用与横向扩展,适用于现代应用的多样化场景。合理配置与优化可显著提升系统性能与稳定性。
297 0
|
3月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
326 2
|
1月前
|
NoSQL Java 网络安全
SpringBoot启动时连接Redis报错:ERR This instance has cluster support disabled - 如何解决?
通过以上步骤一般可以解决由于配置不匹配造成的连接错误。在调试问题时,一定要确保服务端和客户端的Redis配置保持同步一致。这能够确保SpringBoot应用顺利连接到正确配置的Redis服务,无论是单机模式还是集群模式。
204 5
|
1月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
347 5
|
2月前
|
存储 监控 NoSQL
Redis高可用架构全解析:从主从复制到集群方案
Redis高可用确保服务持续稳定,避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余,哨兵模式支持自动故障转移,Cluster集群则提供分布式数据分片与水平扩展,三者层层递进,保障读写分离、容灾切换与大规模数据存储,构建高性能、高可靠的Redis架构体系。
|
2月前
|
存储 缓存 监控
Redis分区的核心原理与应用实践
Redis分区通过将数据分散存储于多个节点,提升系统处理高并发与大规模数据的能力。本文详解分区原理、策略及应用实践,涵盖哈希、范围、一致性哈希等分片方式,分析其适用场景与性能优势,并探讨电商秒杀、物联网等典型用例,为构建高性能、可扩展的Redis集群提供参考。
173 0
|
3月前
|
存储 NoSQL 算法
Redis的集群架构与使用经验
本文介绍了Redis的集群架构与使用经验,包括主从复制、哨兵集群及Cluster分片集群的应用场景与实现原理。内容涵盖Redis主从同步机制、数据分片存储方式、事务支持及与Memcached的区别,并讨论了Redis内存用尽时的处理策略。适用于了解Redis高可用与性能优化方案。
|
6月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
1月前
|
缓存 负载均衡 监控
135_负载均衡:Redis缓存 - 提高缓存命中率的配置与最佳实践
在现代大型语言模型(LLM)部署架构中,缓存系统扮演着至关重要的角色。随着LLM应用规模的不断扩大和用户需求的持续增长,如何构建高效、可靠的缓存架构成为系统性能优化的核心挑战。Redis作为业界领先的内存数据库,因其高性能、丰富的数据结构和灵活的配置选项,已成为LLM部署中首选的缓存解决方案。