Redis学习笔记-String数据类型及其节省空间优化

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Redis学习笔记-String数据类型及其节省空间优化

要更好地优化 Redis 使用数据使用情况,就需要先了解 Redis 数据类型的存储方式,而前面文章学习过 String 类型底层数据结构是 简单动态字符串,当你使用 set 2201000060 4402000080 插入数据时,看上去只需要 8B long + 8B long = 16B 存储空间,但实际却需要 56B 的内存空间,为什么会使用这么多内存空间呢?这篇文章就围绕这个问题,学习一下 String 类型以及如何优化这种情况的数据,从而能节省更多的存储空间。

1.笔记图

2.Redis 基本数据类型和底层数据结构关系示意图

  • String 类型对应 简单动态字符串
  • List 类型对应 双向链表压缩列表
  • Hash 类型对应 压缩列表 散列表
  • Sorted Set 类型对应 压缩列表跳表
  • Set 类型对应 散列表 整数集合

3.String 类型保存方式

  • int 编码方式:当保存 64 位有符号整数,会把它保存为一个 8 字节的 Long 类型整数
  • 简单动态字符串(SDS)
  • embstr 编码:字符串小于 44 字节,RedisObject 中的元数据、指针和 SDS 是一块连续的内存区域,这样就可以避免内存碎片
  • raw 编码:字符串大于 44 字节,Redis 不把 SDSRedisObject 布局在一起,会给 SDS 分配独立的空间,用指针指向 SDS 结构

  • 每个 key 会对应全局哈希桶 dictEntry 的结构体,用来指向一个键值对
  • buf:字节数组,保存实际数据。为了表示字节数组的结束,Redis 会自动在数组最后加一个\0,这就会额外占用 1 个字节的开销
  • len:占 4 个字节,表示 buf 的已用长度
  • alloc:也占个 4 字节,表示 buf 的实际分配长度,一般大于 len

4.压缩列表(ziplist)

       压缩列表(ziplist) 实际是一个字节数组,它的设计目的是为了节约内存,和普通数组不同的是在数组头部会有三个字段,分别是 zlbytes(列表长度)、zltail(列表尾部偏移量)、zllen(entry 的个数),在 压缩列表 的尾部还会有 zlend(结束)字段,示意图如下图:

  • zlbytes:列表长度
  • zltail:列表尾的偏移量
  • zllen:列表中的 entry 个数
  • entry
  • prev_len:表示前一个 entry 的长度。prev_len 有两种取值情况:1 字节或 5 字节。取值 1 字节时,表示上一个 entry 的长度小于 254 字节。虽然 1 字节的值能表示的数值范围是 0255,但是压缩列表中 zlend 的取值默认是 255,因此,就默认用 255 表示整个压缩列表的结束,其他表示长度的地方就不能再用 255 这个值了。所以,当上一个 entry 长度小于 254 字节时,prev_len 取值为 1 字节,否则,就取值为 5 字节
  • len:表示自身长度,4 字节
  • encoding:表示编码方式,1 字节
  • content:保存实际数据
  • zlend:列表结束

5.使用 Hash 类型替代 String 优化

  • 插入 String 类型数据
info memory
  #used_memory:867616
  set 2201000060 4402000080
  #used_memory:867672
  #增加56B
  set 2201000061 4402000081
  #used_memory:867728
  #增加56B
  set 2201000062 4402000082
  #used_memory:867784
  #增加56B
  set 2201000063 4402000083
  #used_memory:867840
  #增加56B
  set 2201000064 4402000084
  #used_memory:867896
  #增加56B
  set 2201000065 4402000085
  #used_memory:867952
  #增加56B
  set 2201000066 4402000086
  #used_memory:868008
  #增加56B

Tips:可以看到每次新增的 INT 类型数据占用空间 56B

  • 插入Hash类型数据
info memory
  #used_memory:868008
  hset 2201000 060 4402000080
  #used_memory:868096
  #增加88B
  hset 2201000 061 4402000081
  #used_memory:868112
  #增加16B
  hset 2201000 062 4402000082
  #used_memory:868120
  #增加8B
  hset 2201000 063 4402000083
  #used_memory:868144
  #增加24B
  hset 2201000 064 4402000084
  #used_memory:868160
  #增加16B
  hset 2201000 065 4402000085
  #used_memory:868176
  #增加16B
  hset 2201000 066 4402000086
  #used_memory:868192
  #增加16B

Tips:可以看到这种方式只是在第一次增加数据的时候占用 88B,其后每次平均只增加 16B,其原因是 key 的空间是在第一次的时候创建的,后面可以共用,数据是以 ziplist 方式存储的,需要注意避免产生 bigkey

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
22天前
|
存储 Java 对象存储
String 属于基础的数据类型吗
String 在多数编程语言中被视为一种基础数据类型,但实际上它是由字符组成的序列。在一些语言中,如 Java 和 Python,String 被设计为不可变的对象,以简化编程和提高安全性。
30 5
|
6天前
|
存储 Java
Java 11 的String是如何优化存储的?
本文介绍了Java中字符串存储优化的原理和实现。通过判断字符串是否全为拉丁字符,使用`byte`代替`char`存储,以节省空间。具体实现涉及`compress`和`toBytes`方法,前者用于尝试压缩字符串,后者则按常规方式存储。代码示例展示了如何根据配置决定使用哪种存储方式。
|
12天前
|
存储 NoSQL Redis
redis常见数据类型
Redis 是一种基于内存的键值存储数据库,支持字符串、哈希表、列表、集合及有序集合等多种数据类型,每种类型均有特定用途与适用场景,提供丰富的命令操作,适用于高速数据访问与处理。
28 5
|
22天前
|
Java
在Java中如何将基本数据类型转换为String
在Java中,可使用多种方法将基本数据类型(如int、char等)转换为String:1. 使用String.valueOf()方法;2. 利用+运算符与空字符串连接;3. 对于数字类型,也可使用Integer.toString()等特定类型的方法。这些方法简单高效,适用于不同场景。
45 7
|
1月前
|
存储 消息中间件 NoSQL
使用Java操作Redis数据类型的详解指南
通过使用Jedis库,可以在Java中方便地操作Redis的各种数据类型。本文详细介绍了字符串、哈希、列表、集合和有序集合的基本操作及其对应的Java实现。这些示例展示了如何使用Java与Redis进行交互,为开发高效的Redis客户端应用程序提供了基础。希望本文的指南能帮助您更好地理解和使用Redis,提升应用程序的性能和可靠性。
37 1
|
2月前
|
NoSQL 关系型数据库 MySQL
MySQL与Redis协同作战:百万级数据统计优化实践
【10月更文挑战第21天】 在处理大规模数据集时,传统的单体数据库解决方案往往力不从心。MySQL和Redis的组合提供了一种高效的解决方案,通过将数据库操作与高速缓存相结合,可以显著提升数据处理的性能。本文将分享一次实际的优化案例,探讨如何利用MySQL和Redis共同实现百万级数据统计的优化。
98 9
|
2月前
|
NoSQL 关系型数据库 MySQL
MySQL与Redis协同作战:优化百万数据查询的实战经验
【10月更文挑战第13天】 在处理大规模数据集时,传统的关系型数据库如MySQL可能会遇到性能瓶颈。为了提升数据处理的效率,我们可以结合使用MySQL和Redis,利用两者的优势来优化数据查询。本文将分享一次实战经验,探讨如何通过MySQL与Redis的协同工作来优化百万级数据统计。
77 5
|
2月前
|
NoSQL Redis
Redis 字符串(String)
10月更文挑战第16天
47 4
|
2月前
|
存储 消息中间件 NoSQL
Redis 数据类型
10月更文挑战第15天
40 1
|
2月前
|
NoSQL 关系型数据库 MySQL
MySQL与Redis协同作战:百万数据量的优化实录
【10月更文挑战第6天】 在现代互联网应用中,随着用户量的增加和业务逻辑的复杂化,数据量级迅速增长,这对后端数据库系统提出了严峻的挑战。尤其是当数据量达到百万级别时,传统的数据库解决方案往往会遇到性能瓶颈。本文将分享一次使用MySQL与Redis协同优化大规模数据统计的实战经验。
158 3

热门文章

最新文章