Redis集群Proxy支持select命令方案介绍

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 目前Redis集群开源的方案主要有Redis Cluster,Codis,Twemproxy等,这几个方案里面都不支持select命令,即用户无法使用select进行逻辑db的切换,这样会给之前使用Redis单机的用户带来一定困扰,导致很多用户在迁移到集群方案的时候需要改造代码,本文探讨Redis集群支持select命令的方案实现。

目前Redis集群开源的方案主要有Redis Cluster,Codis,Twemproxy等,这几个方案里面都不支持select命令,即用户无法使用select进行逻辑db的切换,这样会给之前使用Redis单机的用户带来一定困扰,导致很多用户在迁移到集群方案的时候需要改造代码,本文探讨Redis集群支持select命令的方案实现。

阿里云Redis集群

阿里云的redis集群版由3大组件构成:

  • redis-config : 集群管理工具
  • redis-server : 优化过源码的redis,支持slot, 扩容迁移等
  • redis-proxy : 单线程,c++14语言实现的内核

数据链路图如下所示,用户的请求通过Proxy负载均衡之后分发到后端多个节点进行请求。
screenshot.png

Proxy介绍

Redis通常作为缓存,用户在访问Redis的时候都希望延迟尽量低,所以我们选择了C++进行开发,另外为了使用更多C++的新特性,我们选择了C++14进行开发,大量精简了代码提高了代码可阅读性。为了简化模型Proxy设计成单进程单线程的结构,所有用户请求都只会在一个工作线程上进行转发。另外为了保证云资源之间的隔离性,每个用户都具有独立的Proxy避免不同用户之间的互相影响。同时Proxy提供了HTTP的接口用于管控系统的控制和查询。阿里云Redis集群Proxy特性如下:

  • 支持单slot命令,支持set,get等单key命令
  • 支持多key命令,支持mset,mget等分布在不同db进行请求的命令
  • 支持pubsub订阅命令
  • 支持相同slot上的事物
  • 支持select命令
  • 热升级,链接不断开
  • 高性能
  • 低延时

从以上特性我们可以看到阿里云Redis的Proxy支持了绝大部分的Redis的命令,具有很高的兼容性。后续阿里云Redis集群Proxy还会提供block类命令支持,读写分离等特性。

Proxy如何支持select命令

方案1:一对一链接

screenshot.png
简单的方案如上图Proxy可以维护和客户端一对一的链接,对于所有客户端的请求建立一对一的链接,所有请求都直接进行转发到后端处理。这样的方案可以直接实现select命令的支持,但是这样的方案带来的问题就是需要频繁和后端Redis建立链接,性能比较差,而且在用户使用短连接的情况下还会造成链接风暴导致链路不稳定。

方案2:长连接

screenshot.png
方案二Proxy和后端Redis之间维护一个长连接,所有的命令都通过该长连接进行转发,Proxy需要维护每个前端Client的db信息,在转发命令的时候显示的增加select调用。这个方案如果在前端Client使用不同db的时候会导致后端db链接频繁进行db的切换,而且qps放大的倍数直接和client链接数目相关,会极大的影响集群的性能。

方案3:db级别长连接

screenshot.png
如上图Proxy到Redis之间每个db都维护一个长连接,每个长连接建立的时候都会执行select命令标注该链接为某个db的链接。用户执行select命令之后我们就标记该链接为对应的db,Proxy在接收到用户请求之后根据链接db信息转发到后端对应的长连接上,如果没有存在的长连接则新建一个对应的db长连接。考虑到原生的Redis支持的db数目为16个db,在后端Redis节点数目不多的情况下,Proxy支撑的连接数是有限的。这种方案可以降低Proxy的链接数目,同时可以让命令在相同链接上合并发送提高Proxy到Redis的性能。

总结

阿里云Redis采用了上述方案3来实现select多命令的支持,在实际过程中由于Proxy还需要支持事物、订阅等命令,实际的链接模型会比上面的还复杂,后续我们也会继续介绍事物、订阅等命令如何实现。阿里云Redis致力于提供最好的云数据库Redis服务,我们正在寻找有一样志向的同学加入我们,有兴趣的同学请猛击链接

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
15天前
|
消息中间件 存储 NoSQL
java连接redis和基础操作命令
通过以上内容,您可以掌握在Java中连接Redis以及进行基础操作的基本方法,进而在实际项目中灵活应用。
83 30
|
1月前
|
存储 缓存 NoSQL
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
|
2月前
|
存储 监控 NoSQL
Redis集群方案汇总:概念性介绍
本文介绍了Redis的三种高可用和分布式解决方案:**Redis Replication(主从复制)**、**Redis Sentinel(哨兵模式)** 和 **Redis Cluster(集群模式)**。Redis Replication实现数据备份和读写分离,适合数据安全和负载均衡场景;Redis Sentinel提供自动故障转移和监控功能,适用于读写分离架构;Redis Cluster通过分布式存储和自动故障转移,解决单点性能瓶颈,适合大规模数据和高并发场景。文中还详细描述了各方案的工作原理、优缺点及适用场景。
49 0
|
2月前
|
NoSQL 应用服务中间件 API
Redis是如何建立连接和处理命令的
本文主要讲述 Redis 是如何监听客户端发出的set、get等命令的。
799 28
|
2月前
|
存储 NoSQL Redis
redis主从集群与分片集群的区别
主从集群通过主节点处理写操作并向从节点广播读操作,从节点处理读操作并复制主节点数据,优点在于提高读取性能、数据冗余及故障转移。分片集群则将数据分散存储于多节点,根据规则路由请求,优势在于横向扩展能力强,提升读写性能与存储容量,增强系统可用性和容错性。主从适用于简单场景,分片适合大规模高性能需求。
74 5
|
3月前
|
存储 NoSQL Java
Redis命令:列表模糊删除详解
通过本文的介绍,我们详细探讨了如何在Redis中实现列表的模糊删除。虽然Redis没有直接提供模糊删除命令,但可以通过组合使用 `LRANGE`和 `LREM`命令,并在客户端代码中进行模糊匹配,来实现这一功能。希望本文能帮助你在实际应用中更有效地操作Redis列表。
146 0
|
3月前
|
SQL NoSQL 关系型数据库
2024Mysql And Redis基础与进阶操作系列(5)作者——LJS[含MySQL DQL基本查询:select;简单、排序、分组、聚合、分组、分页等详解步骤及常见报错问题所对应的解决方法]
MySQL DQL基本查询:select;简单、排序、分组、聚合、分组、分页、INSERT INTO SELECT / FROM查询结合精例等详解步骤及常见报错问题所对应的解决方法
|
4月前
|
NoSQL Redis 数据安全/隐私保护
Redis 命令
10月更文挑战第15天
58 0
|
4月前
|
缓存 NoSQL 测试技术
Redis如何解决频繁的命令往返造成的性能瓶颈!
Redis如何解决频繁的命令往返造成的性能瓶颈!
|
11天前
|
缓存 NoSQL 中间件
Redis,分布式缓存演化之路
本文介绍了基于Redis的分布式缓存演化,探讨了分布式锁和缓存一致性问题及其解决方案。首先分析了本地缓存和分布式缓存的区别与优劣,接着深入讲解了分布式远程缓存带来的并发、缓存失效(穿透、雪崩、击穿)等问题及应对策略。文章还详细描述了如何使用Redis实现分布式锁,确保高并发场景下的数据一致性和系统稳定性。最后,通过双写模式和失效模式讨论了缓存一致性问题,并提出了多种解决方案,如引入Canal中间件等。希望这些内容能为读者在设计分布式缓存系统时提供有价值的参考。感谢您的阅读!
Redis,分布式缓存演化之路

相关产品

  • 云数据库 Tair(兼容 Redis)