AI 助理
备案控制台
开发者社区 数据库 文章 正文

【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南（集群指令分析—上篇）（一）

2024-03-29 45
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生内存数据库 Tair，内存型 2GB
推荐场景：
通过缓存加速数据库访问
云数据库 Redis 版，标准版 2GB
推荐场景：
搭建游戏排行榜
简介： 【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南（集群指令分析—上篇）

Redis集群管理

Redis Cluster提供了一套完整的功能技术，使得Redis能够以分布式的方式运行，并具备高可用性、容错性和扩展性。通过自动发现、主从选举、在线分片等机制，Redis Cluster能够自动管理集群中的节点，并保证数据的一致性和可靠性。同时，基于配置文件和转向机制，Redis Cluster能够提供灵活的集群管理和数据访问方式。

  1. 拓扑结构：Redis集群由多个节点组成，每个节点都是一个独立的Redis实例。节点之间通过Gossip协议进行通信和信息交换。
  2. 数据分片：集群将数据分散存储在不同的节点上。采用哈希槽（hash slot）的方式进行数据分片，集群默认使用16384个哈希槽。每个键根据哈希函数计算得到一个槽位，集群根据槽位将键值对分配到对应的节点上进行存储。
  3. 主从复制：每个节点可以拥有多个从节点，实现数据的冗余和高可用性。主节点负责写入和处理命令请求，从节点则复制主节点的数据，并可以接收读请求。当主节点不可用时，从节点会自动选举一个新的主节点。
  4. 自动分片迁移：当集群中新增或删除节点时，集群会自动进行数据的迁移，保持数据均衡分布在不同的节点上。集群通过对槽位进行重新分配来实现数据的平衡。
  5. 故障检测和容错：Redis集群具有故障检测和容错机制。当节点失效或下线时，集群会自动检测并将槽位迁移到其他正常的节点上，确保数据的高可用性。同时，集群还会进行节点间的心跳检测，及时发现并处理故障。
  6. 客户端路由：在使用Redis集群时，客户端需要通过一个集群客户端来进行访问。集群客户端会根据键的哈希值将请求路由到正确的节点上，保证每个请求都能够到达正确的节点。

查看集群中各个节点状态

集群(cluster)

在此前提，我们需要使用./redis-cli -h 本地节点的ip -p redis的端口号 -a 密码的指令进行登录到我们的redis集群中，进入到redis客户端后，运行如下命令，查看集群中节点状态

cluster info的执行效果

"CLUSTER INFO"是一个Redis集群命令，用于获取有关Redis集群状态和拓扑的信息。当您在一个Redis集群环境中使用时，这个指令可以提供有关集群的关键信息，以便您监控和管理集群。

bash

复制代码

xx.xx.xx.xx:6379> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_sent:23695
cluster_stats_messages_received:23690

指令结果分析

下面是"CLUSTER INFO"指令返回的信息的解释：

  1. "cluster_state"（集群状态）：这是一个表示集群状态的字符串。它可以是以下几个值之一：
  • "ok"：表示集群状态良好。
  • "fail"：表示集群状态出现故障。
  • "handshake"：表示集群正在进行节点握手操作。
  1. "cluster_slots_assigned"（已分配槽位）：该值表示已经在集群中分配的槽位数量。Redis集群将数据分散存储在不同的槽位中，这个值表示有多少个槽位已被分配。
  2. "cluster_slots_ok"（正常槽位）：这是一个表示当前状态正常的槽位数量的值。如果集群中的所有槽位都正常，则该值将与已分配的槽位数相等。
  3. "cluster_slots_pfail"（部分失败槽位）：这是一个表示部分槽位失败的数量值。当集群中有槽位处于部分失败状态时，该值会增加。
  4. "cluster_slots_fail"（失败槽位）：这是一个表示失败的槽位数量的值。如果集群中有槽位处于失败状态，则该值会增加。
  5. "cluster_known_nodes"（已知节点）：这是一个表示在集群中已知节点数量的值。它包括了主节点和从节点。
  6. "cluster_size"（集群大小）：该值表示集群的整体大小，即集群中所有节点的总数（包括主节点和从节点）。
  7. "cluster_current_epoch"（当前纪元）：这是一个用于在集群中执行故障转移操作时进行实时同步的纪元值。
  8. "cluster_my_epoch"（当前节点纪元）：这是当前节点的纪元值，在集群中通过它来标识节点。
  9. "cluster_stats_messages_sent"（发送的消息数）：这是一个表示当前节点发送的消息数量的值。
  10. "cluster_stats_messages_received"（接收的消息数）：这是一个表示当前节点接收的消息数量的值。

"CLUSTER INFO"指令返回的一些关键信息。它们可以帮助您了解Redis集群的状态、槽位分配情况、节点数量和消息传输情况等重要信息。通过分析这些信息，您可以更好地监控和管理您的Redis集群。

cluster nodes的执行效果

"CLUSTER NODES"是一个Redis集群命令，用于获取有关Redis集群中所有节点的信息。当您在一个Redis集群环境中使用时，这个指令可以提供关于每个节点的详细信息，包括节点ID、节点地址、角色（主节点或从节点）、槽位分配和连接状态等。

bash

复制代码

xx.xx.xx.xx:6379> cluster nodes
e2cfd53b8083539d1a4546777d0a81b036ddd82a xx.xx.xx.xx:6384 slave f1f6e93e625e8e0cef0da1b3dfe0a1ea8191a1ad(主节点为：xx.xx.xx.xx:6380) 0 1510021756842 6 connected
857a5132c844d695c002f94297f294f8e173e393 xx.xx.xx.xx:6379 myself,master - 0 0 1 connected 0-5460
e4394d43cf18aa00c0f6833f6f498ba286b55ca1 xx.xx.xx.xx:6382 master - 0 1510021759865 4 connected 5461-10922
16eca138ce2767fd8f9d0c8892a38de0a042a355 xx.xx.xx.xx:6383 slave 857a5132c844d695c002f94297f294f8e173e393 0 1510021757849 5 connected
f1f6e93e625e8e0cef0da1b3dfe0a1ea8191a1ad xx.xx.xx.xx:6380 master - 0 1510021754824 2 connected 10923-16383  ##红色字体可以看出只有主节点会被分配哈希槽
d14e2f0538dc6925f04d1197b57f44ccdb7c683a xx.xx.xx.xx:6381 slave e4394d43cf18aa00c0f6833f6f498ba286b55ca1 0 1510021758855 4 connected
xx.xx.xx.xx:6379>

指令结果分析

CLUSTER NODES可以查看到主从关系，以及节点的健康程度，下面是"CLUSTER NODES"指令返回的信息的解释：

  1. "Node ID"（节点ID）：每个Redis节点都有一个唯一的节点ID，用于标识它在集群中的位置。
  2. "Address"（节点地址）：节点的IP地址和端口号。
  3. "Flags"（标志）：标志表示节点的各种状态和角色。常见的标志包括：
  • "master"：表示节点是主节点。
  • "slave"：表示节点是从节点。
  • "myself"：表示当前节点是查询命令的节点。
  • "fail?"：表示节点是否被认为处于失败状态。
  1. "Master ID"（主节点ID）：对于从节点，该字段显示它所属的主节点的ID。对于主节点，该字段为空。
  2. "Slots"（槽位）：该字段显示节点负责的槽位范围。每个Redis集群将数据分散存储在不同的槽位中，该字段指示节点负责的槽位范围。
  3. "Last Hello"（最后一次心跳）：显示节点和集群之间最后一次交换心跳消息的时间。
  4. "Status"（状态）：表示节点的连接状态。常见的状态包括：
  • "connected"：表示节点与集群保持连接。
  • "disconnected"：表示节点与集群断开连接。

"CLUSTER NODES"命令返回的信息以文本形式呈现，每个节点的信息以行为单位。您可以解析这些信息来了解整个集群中每个节点的状态、角色和槽位分配情况。这对于监控和管理Redis集群非常有用，能够帮助您了解集群的拓扑结构和节点之间的连接状态。

节点(node)

在Redis集群中，"node"（节点）是指负责管理一个或多个哈希槽（slots）的Redis实例。集群将数据分散在多个节点上，以实现高可用性和横向扩展。

每个节点都是一个独立的Redis服务器实例，具有自己的配置、内存、CPU和磁盘。节点之间通过内部通信进行数据同步和协调。

在Redis集群中，节点具有以下特点：

  1. 负责一部分哈希槽：Redis集群将全局数据分为16384个哈希槽，并将这些槽分配给集群中的各个节点。每个节点负责管理一部分哈希槽，处理存储在这些槽中的键值对的操作。通过将槽分散在多个节点上，Redis集群可以实现数据的分布和负载均衡。
  2. 数据同步：节点间通过内部通信协议进行数据同步。当一个节点接收到写操作时，它会将更新的数据复制到其他节点上，以确保数据在整个集群中的一致性。
  3. 故障转移和高可用性：Redis集群提供了故障转移机制，可以在节点失效时自动将其替换为新的节点。每个节点都有一个主节点和若干个从节点。当主节点失效时，从节点会参与选举新的主节点，并继续提供服务。这种机制确保了Redis集群的高可用性。
  4. 节点间通信：节点之间通过内部通信协议进行数据同步和协调。节点会定期交换状态信息，例如哈希槽分配和节点的健康状态。这种通信机制使得集群能够实时监控节点的状态，并做出相应的调整和决策。

CLUSTER MEET

"CLUSTER MEET"是一个Redis集群命令，用于将指定的节点添加到Redis集群中，使其成为集群的一部分。

命令的语法如下：

bash

复制代码

CLUSTER MEET <ip> <port>

其中，是要添加的节点的IP地址，而是该节点的端口号。

当您使用CLUSTER MEET命令时，Redis集群会尝试与指定的节点建立连接，并将其纳入到集群中。如果连接成功，Redis会将新节点添加为一个普通节点，并在节点之间进行必要的信息交换，以使其成为集群中的一部分。

当新节点被添加到集群后，它将被分配一部分槽位，用于存储集群中的数据。槽位在整个集群中均匀分布，每个节点负责管理一定范围的槽位。通过添加更多的节点，您可以扩展Redis集群的容量和性能，并实现数据的高可用性和负载均衡。

需要注意的是，添加节点到Redis集群需要确保新节点的IP地址和端口号是正确可达的，并且新节点的Redis实例没有与现有集群节点发生冲突（即IP地址和端口号不能与现有节点相同）。

使用CLUSTER MEET命令可以轻松地将新的Redis节点添加到集群中，以扩展集群的能力和可靠性。

CLUSTER FORGET

"CLUSTER FORGET"是一个Redis集群命令，用于将指定的节点从Redis集群中移除。命令的语法如下：

bash

复制代码

CLUSTER FORGET <node id>

其中，是要移除的节点的ID。

当您使用CLUSTER FORGET命令时，Redis集群会将指定的节点从集群中移除。该节点将被视为无效节点，并且不再被集群所感知。这个命令通常在需要从Redis集群中移除故障或不确定节点时使用，例如节点停机、故障或离线状态不明确。

注意，移除节点可能会导致集群中的数据丢失，因为被移除的节点所负责的一部分槽位中的数据将不再可达。在执行此命令之前，请确保您了解被移除节点的情况，并确保数据的备份和复制，以减少数据丢失的风险。

同时，移除节点后，Redis集群中的其他节点会自动感知到该节点的移除，并重新分配移除节点负责的槽位给其他可用节点，以保持集群的正常运行。

使用CLUSTER FORGET命令可以有效地从Redis集群中移除指定的节点，以解决故障或不确定性问题，并确保集群的稳定性和可靠性。

CLUSTER REPLICATE

"CLUSTER REPLICATE"是一个Redis集群命令，用于将当前节点设置为指定节点的从节点（replica）。命令的语法如下:

bash

复制代码

CLUSTER REPLICATE <node id>

其中， 是要设置为从节点的节点的ID。

当您使用CLUSTER REPLICATE命令时，当前节点将被设置为指定节点的从节点。从节点是主节点（master）的副本，它会复制主节点的数据，并按照主节点的指令进行同步更新。从节点可以提供读取请求的负载均衡，同时增强了数据的冗余性和可用性。

被设置为从节点的当前节点将开始与主节点进行通信，通过复制主节点的数据来保持数据的一致性。从节点将定期从主节点接收增量数据，并将其应用到本地副本中，以与主节点保持同步。

使用CLUSTER REPLICATE命令可以方便地将当前节点设置为指定节点的从节点，并通过从节点复制主节点的数据来提高数据的可用性和读取性能。这在构建高可用性、可伸缩性和容错性的Redis集群时非常有用。

注意，从节点的复制行为是异步的，它会有一定的延迟，因此从节点的数据可能不会与主节点的数据完全实时同步。但是，从节点会自动尽力追赶主节点，并尽量保持数据的一致性。

CLUSTER SAVECONFIG

当执行命令cluster saveconfig时，集群会将当前的配置文件保存到硬盘上。配置文件通常包含了集群的各种设置和参数，如网络配置、安全设置、存储设置等。

这个命令非常有用，因为它可以帮助你在集群发生故障或重启时快速恢复之前的配置状态。通过将配置文件保存到硬盘上，你可以在需要时重新加载它，以确保集群的设置和配置与之前保持一致。

保存配置文件到硬盘的过程是自动进行的，你不需要手动指定保存的路径或文件名。通常情况下，配置文件会保存在集群的默认配置目录中，具体位置可能因系统而异。你可以在文档或官方指南中查找相关信息，以了解配置文件的保存位置。

当需要恢复配置时，你可以使用对应的命令（如cluster loadconfig）将保存在硬盘上的配置文件加载到集群中，以重新应用之前的配置设置。

注意，保存配置文件到硬盘是一项重要的操作，请确保你具有足够的权限来执行此操作，并且小心保管保存的配置文件，以防止未经授权的访问或意外的数据泄露。

CLUSTER SLAVES

在Redis集群中，每个master节点可以有多个对应的slave节点。Slave节点是master节点的从属节点，它们通过复制(master-slave replication)来保持数据的一致性。

cluster slaves 使用这个命令时，需要替换为具体的slave节点的ID或名称。执行命令后，Redis集群会返回给你该slave节点所对应的master节点信息。

获取slave节点的master节点信息对于监控和调试集群非常有用。你可以根据返回的结果查看每个slave节点的主节点，以更好地了解集群的拓扑结构和复制关系。

注意，slave节点和master节点之间通过异步复制进行数据同步，因此在进行读取操作时，建议直接访问master节点，以确保获取到的是最新的数据。

cluster set-config-epoch

cluster set-config-epoch命令用于设置Redis集群的配置纪元（config epoch）。配置纪元是一个用于标识集群配置变化的整数值，每当集群发生配置更改时，这个值都会递增。

在Redis集群中，配置纪元主要用于解决主从切换（failover）过程中的冲突问题。当一个master节点下线或发生故障时，集群需要从其它可用的slave节点中选举一个新的master节点来接管。当新的master节点被选举为主节点时，它将会增加配置纪元的值，以通知其它节点发生了配置变化。

通过使用cluster set-config-epoch命令，你可以手动设置配置纪元的值。这在某些特殊情况下可能是有用的，比如当你需要手动引导一个新的master节点或修复集群中的配置冲突问题时。

此外，在Redis集群中可以使用configEpoch配置项来查看当前集群的配置纪元值。你可以通过读取这个值来了解集群的配置状态和变化情况。


【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南（集群指令分析—上篇）（二）https://developer.aliyun.com/article/1471081

文章标签：
云数据库 Tair（兼容 Redis）
NoSQL
Redis
存储
Shell
监控
关键词：
云数据库 Tair（兼容 Redis）技术
云数据库 Tair（兼容 Redis）服务
云数据库 Tair（兼容 Redis）集群
云数据库 Tair（兼容 Redis）机制
云数据库 Tair（兼容 Redis）分析
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务，基于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 产品详情：https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&amp;RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
洛神灬殇
目录
相关文章
pbeskoyq7ffm4
|
28天前
|
监控 NoSQL Redis
看完这篇就能弄懂Redis的集群的原理了
看完这篇就能弄懂Redis的集群的原理了
pbeskoyq7ffm4
48 0
小王老师呀
|
2天前
|
存储 NoSQL Redis
Redis 管道技术
【9月更文挑战第16天】Redis 管道技术通过批量发送命令并一次性读取响应，显著提升了与 Redis 服务器交互的性能。其工作原理包括命令缓冲、批量发送、响应接收与处理。管道技术减少了网络往返次数，提高了资源利用效率，并使代码更简洁。适用于批量操作、高并发环境及复杂业务逻辑等场景，是优化 Redis 应用性能的强大工具。
小王老师呀
16 3
蓝易云
|
6天前
|
缓存 NoSQL PHP
使用PHP-redis实现键空间通知监听key失效事件的技术与代码示例
通过上述方法，你可以有效地在PHP中使用Redis来监听键空间通知，特别是针对键失效事件。这可以帮助你更好地管理缓存策略，及时响应键的变化。
蓝易云
24 3
小王老师呀
|
11天前
|
消息中间件 NoSQL Go
PHP转Go系列 | ThinkPHP与Gin框架之Redis延时消息队列技术实践
【9月更文挑战第7天】在从 PHP 的 ThinkPHP 框架迁移到 Go 的 Gin 框架时，涉及 Redis 延时消息队列的技术实践主要包括：理解延时消息队列概念，其能在特定时间处理消息，适用于定时任务等场景；在 ThinkPHP 中使用 Redis 实现延时队列；在 Gin 中结合 Go 的 Redis 客户端库实现类似功能；Go 具有更高性能和简洁性，适合处理大量消息。迁移过程中需考虑业务需求及系统稳定性。
小王老师呀
27 0
路边两盏灯
|
26天前
|
缓存 NoSQL 网络协议
【Azure Redis 缓存】Azure Redis Cluster 在增加分片数时失败分析
【Azure Redis 缓存】Azure Redis Cluster 在增加分片数时失败分析
路边两盏灯
29 0
路边两盏灯
|
26天前
|
存储 缓存 NoSQL
【Azure Redis 缓存】当使用Azure Redis 集群服务时候，发生了Moved的几点分析
【Azure Redis 缓存】当使用Azure Redis 集群服务时候，发生了Moved的几点分析
路边两盏灯
25 0
路边两盏灯
|
27天前
|
网络协议 NoSQL 网络安全
【Azure 应用服务】由Web App“无法连接数据库”而逐步分析到解析内网地址的办法(SQL和Redis开启private endpoint，只能通过内网访问，无法从公网访问的情况下）
【Azure 应用服务】由Web App“无法连接数据库”而逐步分析到解析内网地址的办法(SQL和Redis开启private endpoint，只能通过内网访问，无法从公网访问的情况下）
路边两盏灯
45 0
。思索
|
1月前
|
NoSQL Redis
Redis——单机迁移cluster集群如何快速迁移
Redis——单机迁移cluster集群如何快速迁移
。思索
37 0
花酒锄作田
|
1月前
|
NoSQL Linux Redis
使用docker-compose搭建redis-cluster集群
使用docker-compose搭建redis-cluster集群
花酒锄作田
174 0
程序员小海绵
|
6天前
|
canal 缓存 NoSQL
Redis缓存与数据库如何保证一致性？同步删除+延时双删+异步监听+多重保障方案
根据对一致性的要求程度，提出多种解决方案：同步删除、同步删除+可靠消息、延时双删、异步监听+可靠消息、多重保障方案
程序员小海绵
32 5
Redis缓存与数据库如何保证一致性？同步删除+延时双删+异步监听+多重保障方案

热门文章

最新文章

  • 1
    Spring框架（SpringBoot）中redis报错（Could not get a resource from the pool、java.net.SocketTimeoutException）
  • 2
    Redis反序列化错误Could not read JSON: Cannot construct instance of `java.util.ArrayList$SubList`
  • 3
    分布式锁----Redis实现
  • 4
    第二章：redis基础
  • 5
    spring mvc redis消息队列
  • 6
    玩转redis-延时消息队列
  • 7
    Redis学习之基础命令
  • 8
    redis之（八）redis的有序集合类型的命令
  • 9
    铁打的云流水的价 阿里云ECS、Redis最高降幅35%
  • 10
    Redis学习
  • 1
    透视Redis集群：心跳检测如何维护高可用性
    343
  • 2
    探秘Redis分布式锁：实战与注意事项
    359
  • 3
    优化Redis缓存：解决性能瓶颈和容量限制
    208
  • 4
    【Redis系列笔记】Redis总结
    154
  • 5
    【Redis系列笔记】Redis入门
    166
  • 6
    Redis集群模式：高可用性与性能的完美结合！
    259
  • 7
    使用docker安装redis
    211
  • 8
    redis数据结构与应用场景
    38
  • 9
    springboot业务开发--springboot集成redis解决缓存雪崩穿透问题
    135
  • 10
    介绍redis分布式锁
    47

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • Redis入门实战演练
  • 云数据库 Redis 版使用教程
  • Redis数据库入门

    • 相关电子书

    更多
  • Redis集群演化的心路历程——从2.x到3.0时代
  • 微博的Redis定制之路
  • 云数据库Redis版的开源之路

    • 相关实验场景

    更多
  • 语言入门-1：环境构建
  • 高性能特性体验：ePQ 的详解与实战
  • Python网络通信程序典型应用
  • 如何通过数据库Redis内网访问
  • RocketMQ的常规运维实践应用
  • 通过FastMR自动拉起大数据集群并运行TPCDS任务
    • 下一篇
    基于LNMP搭建WordPress