Redis Cluster原理解析

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
全局流量管理 GTM,标准版 1个月
简介: Redis Cluster原理解析

前言

Redis 3.0之后,节点之间,通过去中心化的方式提供了完整的水平拆分、复制机制、failover故障转移,称为Redis Cluster

结构拓扑

Redis Cluster 由多个Redis节点组构成。不同节点组的数据独立,每个节点组可以看成拆分的一个分片、节点组本身,又包括,master节点、slave节点。

注意,相关的设计思路,在众多中间件的实现上都是如此的。

节点组内master和slave节点,异步复制,数据实时一致。只有master节点提供写服务,master、slave节点提供读服务。

图片

如图所示,k-v 数据集合,被分为五份,称为slot(Redis Cluster 事实上是分为16384个slot)\

图片

以图示为例,两个节点组,A、B分别为两个master节点,对外提供数据的读写服务。节点组内,双向箭头,代表节点间信息订阅,虚线箭头代表,主从复制 。\

节点间信息订阅,通过发布/订阅功能实现,共享数据分片和节点的对应关系,以及集群中每个节点的状态。

一致性配置

因为上文上述,Redis Cluster是一个去中心化的结构,那么如何保证一致性,是需要解决的问题。Redis Cluster通过引入两个自增变量epoch来处理。

  1. 配置信息数据结构

Redis Cluster每个节点都存储着集群的配置信息,存储在clusterState中,结构如图所示:

图片

clusterState 记录了集群中某节点配置状态\

currentEpoch 表示整个集群当前最大版本号,集群信息随着变更,版本号会自增

nodes列出所有节点的信息

clusterNode记录每个节点的信息,其中包括节点版本epoch,版本描述

nodeId每个节点唯一个的id

  1. 信息交互

去中心化的结构,没有统一的配置中心,各个节点对于整个集群的认知来自信息的交互。如同区块链,去中心化

通过,Redis Cluster Bus进行交互信息。

水平拆分

不同节点分组,数据独立。Redis Cluster提供的方案让客户端能够路由到对应的位置。

  1. 数据分片

Redis Cluster提供分片16384个slot,每个分片负责其中一部分。每一条数据,根据key值通过数据分布算法,映射到16384中的一个,客户端根据slotId完成路由。

  1. 客户端路由

Redis Cluster的客户端,相比较单机客户端,在请求过程中,如果发现当前key不在对应的节点slot中,Redis会返回一个moved命令,告知正确路由信息。

客户端可以通过数次moved找到最终的路由地址。

  1. 分片的迁移

Redis Cluster节点组每个slot是确定的。但是当需要发生迁移时,通过命令原语完成操作。此处不深入,感兴趣可以官网了解下。

failover

同sentinel一样,Redis Cluster也提供了一套failover的完整的故障发现、故障转移、故障状态一致性保证。

  1. 故障发现

Redis Cluster通过bus,不断地节点间发起ping/pong交互,用于发现

  1. 故障确定

当A 和B C D 四个节点间,A,B断开,其余连接正常。A判断B是否正常的过程,是A收到所有的节点对于B的反馈,若包括自己认为B挂了,超过半数,则认为B挂了。

  1. slave选举

slave切换为master经过选举,首先要超过半数同意,如果太平均,就要通过优先级

  1. matser降级

当master机器不过接受信息,告知B已经为master,自己会降级到master

好了,今天就聊到这。更多的可以参考官方网站介绍。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
存储 缓存 算法
HashMap深度解析:从原理到实战
HashMap,作为Java集合框架中的一个核心组件,以其高效的键值对存储和检索机制,在软件开发中扮演着举足轻重的角色。作为一名资深的AI工程师,深入理解HashMap的原理、历史、业务场景以及实战应用,对于提升数据处理和算法实现的效率至关重要。本文将通过手绘结构图、流程图,结合Java代码示例,全方位解析HashMap,帮助读者从理论到实践全面掌握这一关键技术。
85 13
|
2月前
|
运维 持续交付 云计算
深入解析云计算中的微服务架构:原理、优势与实践
深入解析云计算中的微服务架构:原理、优势与实践
95 1
|
6天前
|
机器学习/深度学习 自然语言处理 搜索推荐
自注意力机制全解析:从原理到计算细节,一文尽览!
自注意力机制(Self-Attention)最早可追溯至20世纪70年代的神经网络研究,但直到2017年Google Brain团队提出Transformer架构后才广泛应用于深度学习。它通过计算序列内部元素间的相关性,捕捉复杂依赖关系,并支持并行化训练,显著提升了处理长文本和序列数据的能力。相比传统的RNN、LSTM和GRU,自注意力机制在自然语言处理(NLP)、计算机视觉、语音识别及推荐系统等领域展现出卓越性能。其核心步骤包括生成查询(Q)、键(K)和值(V)向量,计算缩放点积注意力得分,应用Softmax归一化,以及加权求和生成输出。自注意力机制提高了模型的表达能力,带来了更精准的服务。
|
17天前
|
存储 物联网 大数据
探索阿里云 Flink 物化表:原理、优势与应用场景全解析
阿里云Flink的物化表是流批一体化平台中的关键特性,支持低延迟实时更新、灵活查询性能、无缝流批处理和高容错性。它广泛应用于电商、物联网和金融等领域,助力企业高效处理实时数据,提升业务决策能力。实践案例表明,物化表显著提高了交易欺诈损失率的控制和信贷审批效率,推动企业在数字化转型中取得竞争优势。
74 14
|
26天前
|
网络协议 安全 网络安全
探索网络模型与协议:从OSI到HTTPs的原理解析
OSI七层网络模型和TCP/IP四层模型是理解和设计计算机网络的框架。OSI模型包括物理层、数据链路层、网络层、传输层、会话层、表示层和应用层,而TCP/IP模型则简化为链路层、网络层、传输层和 HTTPS协议基于HTTP并通过TLS/SSL加密数据,确保安全传输。其连接过程涉及TCP三次握手、SSL证书验证、对称密钥交换等步骤,以保障通信的安全性和完整性。数字信封技术使用非对称加密和数字证书确保数据的机密性和身份认证。 浏览器通过Https访问网站的过程包括输入网址、DNS解析、建立TCP连接、发送HTTPS请求、接收响应、验证证书和解析网页内容等步骤,确保用户与服务器之间的安全通信。
95 1
|
2月前
|
JavaScript 前端开发 API
Vue.js响应式原理深度解析:从Vue 2到Vue 3的演进
Vue.js响应式原理深度解析:从Vue 2到Vue 3的演进
101 17
|
2月前
|
存储 供应链 算法
深入解析区块链技术的核心原理与应用前景
深入解析区块链技术的核心原理与应用前景
79 0
|
28天前
|
存储 缓存 NoSQL
解决Redis缓存数据类型丢失问题
解决Redis缓存数据类型丢失问题
172 85
|
3天前
|
存储 缓存 NoSQL
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
|
3天前
|
缓存 NoSQL 关系型数据库
云端问道21期实操教学-应对高并发,利用云数据库 Tair(兼容 Redis®)缓存实现极速响应
本文介绍了如何通过云端问道21期实操教学,利用云数据库 Tair(兼容 Redis®)缓存实现高并发场景下的极速响应。主要内容分为四部分:方案概览、部署准备、一键部署和完成及清理。方案概览中,展示了如何使用 Redis 提升业务性能,降低响应时间;部署准备介绍了账号注册与充值步骤;一键部署详细讲解了创建 ECS、RDS 和 Redis 实例的过程;最后,通过对比测试验证了 Redis 缓存的有效性,并指导用户清理资源以避免额外费用。

热门文章

最新文章

推荐镜像

更多