Rust 写的 Undermoon Redis 集群 - Redis Cluster Protocol与Server Proxy

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Rust 写的 Undermoon Redis 集群 - Redis Cluster Protocol与Server Proxy

Redis Cluster 是官方的 Redis 分布式解决方案,支持 sharding(分片)failover(故障转移)。与使用单实例 redis 相比,连接 Redis Cluster 的客户端需要实现 Redis Cluster Client Protocol。它的基本作用是:

  • 如果我们没有向正确的节点发送命令,则重定向请求。
  • CLUSTER NODESCLUSTER SLOTS 这两个命令之一缓存集群路由表。

这种客户端称为 Smart Client



image.png


为了兼容现有的 Redis client,还有一些 Redis Cluster Proxies,如 redis-cluster-proxy(官方)、aster、corvus 和 samaritan,以使集群协议适应广泛支持的单实例协议。



image.png


Undermoon 是如何实现 “Redis Cluster Protocol” 的?



Undermoon 基于 server-side proxyServer Proxy 实现 Redis Cluster ProtocolServer Proxy 将像官方的 Redis Cluster Redis 一样工作,并在需要时返回重定向响应。


image.png


为什么要实现另一个 “Redis Cluster Protocol”?



该实现不仅支持水平可扩展性和高可用性,还使您能够构建一个自我管理的分布式 Redis,支持:


  • Redis 资源池管理
  • 为不同的用户提供多个集群
  • 将流量洪水均匀地传播到所有物理机
  • 扩容迅速
  • 操作和 Kubernetes 集成更容易。


为什么是 Server-side Proxy?



Redis 和大多数 redis 代理(如 redis-cluster-proxycorvusastercodis)部署在独立的机器上,因为代理通常需要将请求分散到不同的 Redis 实例。

Server-side Proxy 不是路由请求,而是充当与这些代理不同的角色,类似于 Rediscluster module,通过使用一些定制的迁移协议,使其能够迁移数据快速扩展


Server-side Proxy



以下是 Server-side ProxyRedis Cluster Protocol 的一小部分操作。

首先运行一个 redis-server


$ redis-server


构建并运行 server_proxy,在端口 5299 上运行并将命令转发到 127.0.0.1:6379


> cargo build
> make server


> redis-cli -p 5299
# 通过 `UMCTL` 命令初始化代理。
127.0.0.1:5299> UMCTL SETCLUSTER v2 1 NOFLAGS mydb 127.0.0.1:6379 1 0-8000 PEER 127.0.0.1:7000 1 8001-16383
# Done! 我们可以像 Redis Cluster 一样使用它!
# 和官方的 Redis Cluster 不同,这里只显示 master 节点
# 而不是同时显示主服务器和副本。
127.0.0.1:5299> CLUSTER NODES
mydb________________9f8fca2805923328____ 127.0.0.1:5299 myself,master - 0 0 1 connected 0-8000
mydb________________d458dd9b55cc9ad9____ 127.0.0.1:7000 master - 0 0 1 connected 8001-16383
# 当我们使用 UMCTL SETCLUSTER 初始化它时,
# 插槽(slots) 8001-16383 属于另一个服务器代理 127.0.0.1:7000
# 所以我们得到一个重定向响应。
#
# 这是普通 Redis client 和 Redis Cluster client 的关键区别
# 因为我们需要处理重定向。
127.0.0.1:5299> get a
(error) MOVED 15495 127.0.0.1:7000
# Key 'b' 是该代理负责的,因此我们处理请求。
127.0.0.1:5299> set b 1
OK


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
23天前
|
存储 NoSQL Redis
redis主从集群与分片集群的区别
主从集群通过主节点处理写操作并向从节点广播读操作,从节点处理读操作并复制主节点数据,优点在于提高读取性能、数据冗余及故障转移。分片集群则将数据分散存储于多节点,根据规则路由请求,优势在于横向扩展能力强,提升读写性能与存储容量,增强系统可用性和容错性。主从适用于简单场景,分片适合大规模高性能需求。
36 5
|
4月前
|
监控 NoSQL Redis
看完这篇就能弄懂Redis的集群的原理了
看完这篇就能弄懂Redis的集群的原理了
169 0
|
4月前
|
存储 NoSQL 算法
深入理解Redis分片Cluster原理
本文深入探讨了Redis Cluster的分片原理,作为Redis官方提供的高可用性和高性能解决方案,Redis Cluster通过数据分片和横向扩展能力,有效降低单个主节点的压力。
深入理解Redis分片Cluster原理
|
4月前
|
NoSQL 算法 Java
诡异!Redis Proxy RT上升后连接倾斜
本文细致地描述了关于Redis Proxy RT上升后连接倾斜问题的排查过程和根本原因,最后给出了优化方案。
|
5月前
|
存储 NoSQL 算法
Redis 集群模式搭建
Redis 集群模式搭建
104 5
|
4月前
|
缓存 NoSQL 网络协议
【Azure Redis 缓存】Azure Redis Cluster 在增加分片数时失败分析
【Azure Redis 缓存】Azure Redis Cluster 在增加分片数时失败分析
|
4月前
|
缓存 NoSQL Redis
【Azure Redis 缓存】Windows版创建 Redis Cluster 实验 (精简版)
【Azure Redis 缓存】Windows版创建 Redis Cluster 实验 (精简版)
|
4月前
|
NoSQL Redis
Redis——单机迁移cluster集群如何快速迁移
Redis——单机迁移cluster集群如何快速迁移
154 0
|
4月前
|
NoSQL Linux Redis
使用docker-compose搭建redis-cluster集群
使用docker-compose搭建redis-cluster集群
613 0