如何让redis 迁移大key的restore性能提升6倍

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 RDS SQL Server,独享型 2核4GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: redis支持migrate key的命令,支持从源redis节点迁移key到目标节点上,目标节点再执行restore命令,将数据加载进内存中。以200M,数据类型为zset(skiplist) 的 key为例,测试环境为本地开发机上两台redis,忽略网络的影响。原生的redis 在 ...

redis支持migrate key的命令,支持从源redis节点迁移key到目标节点上,目标节点再执行restore命令,将数据加载进内存中。以800MB,数据类型为zset(skiplist) 的 key为例,测试环境为本地开发机上两台redis,忽略网络的影响。原生的redis 在restore时执行需要163s,优化后的redis执行需要27s。

1. 原生redis restore的性能瓶颈

通过扁鹊工具分析,可以看到cpu的运行情况如下:
before.jpg
查看源码可知,migrate 遍历出来的zset 中的hashtable值和score,序列化之后打包给目标节点。
目标节点在反序列后重新构造了zset的结构,包括zslinsert, dictadd 等操作。当数据量越大时,重构的代价也就越大。

2. 优化方法

已知瓶颈在重构数据模型,所以优化的思路就是将源节点的数据模型也一并序列化打包给目标节点。目标节点解析后预构造出内存,再按解析后的member填鸭进去即可。
zset 可以说是redis中最为复杂的数据结构,以zset为例,阐述如何优化。

2.1 zset的数据结构

zset 由两个数据结构组成,一个是hashtable 结构的dict,存储的是每个member的值及对应的score,另一个是skiplist的zsl,按序排列每个member。如图所示:
ht.png
skiplist.png

2.2 序列化zset结构模型

redis中,zset的dict 和 zsl 中member 和score的内存是共享的,两种结构,一份内存。如果在序列化中描述一份数据两种索引成本反而更高。

2.2.1 序列化dict模型

再细看cpu的性能消耗,hashtable部分更多消耗在计算index, rehash(即预分配的hash table的size不满足时,需要使用一个更大size的hashtable,将旧的table挪到新的table中),compare key(在链表中遍历判断key是否已经存在)。
基于此,在序列化时带上最大的hashtable的size,restore时指定生成size大小的dict table,去掉rehash。
restore zsl 结构,反序列化出member,score,重新计算member的index,插入指定index的table中,因为遍历出来的zsl不会有出现key冲突的情况,省去compare key,直接将相同index的member接入到链表中。

2.2.2 序列化zsl模型

zsl 有多层结构
zsl.jpg

描述的难点在于每一层上的zskiplistNode总共的level层不知道,并且需要描述每一层的前后节点关系,同时需要考虑兼容性。
综合以上考虑,决定从整个zsl最高的level层次遍历,序列化的格式是:
level | header span | level_len | [ span ( | member | score ... ) ]
level : 第几层的数据
header span : header 节点在该层上的span值
level_len : 该层上总的节点数
span : 节点在该层上的span值
member | socre :因为在0层以上的level 有冗余的节点,通过span值相加可以判断是否是冗余节点,冗余节点则不序列化member | score, 非冗余节点带上member | score。反序列时的算法亦然。

结束语

如此zset的数据模型描述完成。对restore的性能更快,但是同时会消耗更多的带宽,多出来的带宽是描述节点的字段。800MB的数据,优化后比优化前多出20MB数据。

云数据库Redis版(ApsaraDB for Redis)是一种稳定可靠、性能卓越、可弹性伸缩的数据库服务。基于飞天分布式系统和全SSD盘高性能存储,支持主备版和集群版两套高可用架构。提供了全套的容灾切换、故障迁移、在线扩容、性能优化的数据库解决方案。欢迎各位购买使用:云数据库 Redis 版

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
23天前
|
NoSQL Java Redis
面试01-Redis 如何从海量数据中查询出某一个 Key
面试01-Redis 如何从海量数据中查询出某一个 Key
49 0
|
2月前
|
存储 NoSQL 测试技术
redis 大key
redis 大key
33 0
|
2天前
|
NoSQL Java Redis
Spring boot 实现监听 Redis key 失效事件
【2月更文挑战第2天】 Spring boot 实现监听 Redis key 失效事件
25 0
|
19天前
|
存储 缓存 NoSQL
Redis性能滑坡:哈希表碰撞的不速之客【redis第二部分】
Redis性能滑坡:哈希表碰撞的不速之客【redis第二部分】
17 0
|
19天前
|
NoSQL Java Redis
springboot整合redis过期key监听实现订单过期操作
springboot整合redis过期key监听实现订单过期操作
16 0
|
1月前
|
存储 设计模式 NoSQL
Redis里面的Key设计
Redis里面的Key设计
17 0
|
1月前
|
存储 NoSQL 安全
Redis系列-5.Redis大Key问题
Redis系列-5.Redis大Key问题
36 0
|
1月前
|
存储 缓存 监控
Redis 7.0性能大揭秘:如何优化缓存命中率?
Redis 7.0,这货不仅仅是一个简单的缓存工具,它更是一款高性能的数据结构服务器。现在,大家都知道缓存命中率对性能影响特别大,但怎么优化它呢?
|
2月前
|
存储 消息中间件 监控
Redis的数据类型以及如何解决大Key问题
在当今的数字化时代,数据成为了企业竞争力的核心要素之一。而Redis作为一种高效的内存数据结构,因其快速存取和丰富的数据类型特性被广泛应用于各类数据处理场景。在这篇文章中,我们将深入探讨Redis支持的数据类型以及如何解决大Key问题。通过了解Redis的数据类型以及相应的使用场景,我们可以更好地利用Redis的特性来满足各种数据存储需求。同时,对于大Key问题的解决策略,将帮助我们在处理大规模数据时提高性能和效率。让我们一起进入Redis的世界,探索其数据类型和大Key问题的解决方案。
136 1
|
2月前
|
存储 缓存 负载均衡
Redis 热点key
Redis 热点key
35 0

相关产品

  • 云数据库 RDS MySQL 版
  • 云原生数据库 PolarDB