Redis学习笔记-String数据类型及其节省空间优化

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Redis学习笔记-String数据类型及其节省空间优化

要更好地优化 Redis 使用数据使用情况,就需要先了解 Redis 数据类型的存储方式,而前面文章学习过 String 类型底层数据结构是 简单动态字符串,当你使用 set 2201000060 4402000080 插入数据时,看上去只需要 8B long + 8B long = 16B 存储空间,但实际却需要 56B 的内存空间,为什么会使用这么多内存空间呢?这篇文章就围绕这个问题,学习一下 String 类型以及如何优化这种情况的数据,从而能节省更多的存储空间。

1.笔记图

2.Redis 基本数据类型和底层数据结构关系示意图

  • String 类型对应 简单动态字符串
  • List 类型对应 双向链表压缩列表
  • Hash 类型对应 压缩列表 散列表
  • Sorted Set 类型对应 压缩列表跳表
  • Set 类型对应 散列表 整数集合

3.String 类型保存方式

  • int 编码方式:当保存 64 位有符号整数,会把它保存为一个 8 字节的 Long 类型整数
  • 简单动态字符串(SDS)
  • embstr 编码:字符串小于 44 字节,RedisObject 中的元数据、指针和 SDS 是一块连续的内存区域,这样就可以避免内存碎片
  • raw 编码:字符串大于 44 字节,Redis 不把 SDSRedisObject 布局在一起,会给 SDS 分配独立的空间,用指针指向 SDS 结构

  • 每个 key 会对应全局哈希桶 dictEntry 的结构体,用来指向一个键值对
  • buf:字节数组,保存实际数据。为了表示字节数组的结束,Redis 会自动在数组最后加一个\0,这就会额外占用 1 个字节的开销
  • len:占 4 个字节,表示 buf 的已用长度
  • alloc:也占个 4 字节,表示 buf 的实际分配长度,一般大于 len

4.压缩列表(ziplist)

       压缩列表(ziplist) 实际是一个字节数组,它的设计目的是为了节约内存,和普通数组不同的是在数组头部会有三个字段,分别是 zlbytes(列表长度)、zltail(列表尾部偏移量)、zllen(entry 的个数),在 压缩列表 的尾部还会有 zlend(结束)字段,示意图如下图:

  • zlbytes:列表长度
  • zltail:列表尾的偏移量
  • zllen:列表中的 entry 个数
  • entry
  • prev_len:表示前一个 entry 的长度。prev_len 有两种取值情况:1 字节或 5 字节。取值 1 字节时,表示上一个 entry 的长度小于 254 字节。虽然 1 字节的值能表示的数值范围是 0255,但是压缩列表中 zlend 的取值默认是 255,因此,就默认用 255 表示整个压缩列表的结束,其他表示长度的地方就不能再用 255 这个值了。所以,当上一个 entry 长度小于 254 字节时,prev_len 取值为 1 字节,否则,就取值为 5 字节
  • len:表示自身长度,4 字节
  • encoding:表示编码方式,1 字节
  • content:保存实际数据
  • zlend:列表结束

5.使用 Hash 类型替代 String 优化

  • 插入 String 类型数据
info memory
  #used_memory:867616
  set 2201000060 4402000080
  #used_memory:867672
  #增加56B
  set 2201000061 4402000081
  #used_memory:867728
  #增加56B
  set 2201000062 4402000082
  #used_memory:867784
  #增加56B
  set 2201000063 4402000083
  #used_memory:867840
  #增加56B
  set 2201000064 4402000084
  #used_memory:867896
  #增加56B
  set 2201000065 4402000085
  #used_memory:867952
  #增加56B
  set 2201000066 4402000086
  #used_memory:868008
  #增加56B

Tips:可以看到每次新增的 INT 类型数据占用空间 56B

  • 插入Hash类型数据
info memory
  #used_memory:868008
  hset 2201000 060 4402000080
  #used_memory:868096
  #增加88B
  hset 2201000 061 4402000081
  #used_memory:868112
  #增加16B
  hset 2201000 062 4402000082
  #used_memory:868120
  #增加8B
  hset 2201000 063 4402000083
  #used_memory:868144
  #增加24B
  hset 2201000 064 4402000084
  #used_memory:868160
  #增加16B
  hset 2201000 065 4402000085
  #used_memory:868176
  #增加16B
  hset 2201000 066 4402000086
  #used_memory:868192
  #增加16B

Tips:可以看到这种方式只是在第一次增加数据的时候占用 88B,其后每次平均只增加 16B,其原因是 key 的空间是在第一次的时候创建的,后面可以共用,数据是以 ziplist 方式存储的,需要注意避免产生 bigkey

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
1天前
|
存储 消息中间件 NoSQL
使用Java操作Redis数据类型的详解指南
通过使用Jedis库,可以在Java中方便地操作Redis的各种数据类型。本文详细介绍了字符串、哈希、列表、集合和有序集合的基本操作及其对应的Java实现。这些示例展示了如何使用Java与Redis进行交互,为开发高效的Redis客户端应用程序提供了基础。希望本文的指南能帮助您更好地理解和使用Redis,提升应用程序的性能和可靠性。
8 1
|
20天前
|
NoSQL Redis
Redis 字符串(String)
10月更文挑战第16天
31 4
|
21天前
|
存储 消息中间件 NoSQL
Redis 数据类型
10月更文挑战第15天
31 1
|
1月前
|
存储 分布式计算 NoSQL
大数据-40 Redis 类型集合 string list set sorted hash 指令列表 执行结果 附截图
大数据-40 Redis 类型集合 string list set sorted hash 指令列表 执行结果 附截图
24 3
|
2月前
|
存储 消息中间件 缓存
深入探析Redis常见数据类型及应用场景
深入探析Redis常见数据类型及应用场景
45 2
|
2月前
|
存储 JSON NoSQL
redis基本数据结构(String,Hash,Set,List,SortedSet)【学习笔记】
这篇文章是关于Redis基本数据结构的学习笔记,包括了String、Hash、Set、List和SortedSet的介绍和常用命令。文章解释了每种数据结构的特点和使用场景,并通过命令示例演示了如何在Redis中操作这些数据结构。此外,还提供了一些练习示例,帮助读者更好地理解和应用这些数据结构。
redis基本数据结构(String,Hash,Set,List,SortedSet)【学习笔记】
|
2月前
|
Java 索引
java基础(13)String类
本文介绍了Java中String类的多种操作方法,包括字符串拼接、获取长度、去除空格、替换、截取、分割、比较和查找字符等。
36 0
java基础(13)String类
|
24天前
|
Java
【编程基础知识】(讲解+示例实战)方法参数的传递机制(值传递及地址传递)以及String类的对象的不可变性
本文深入探讨了Java中方法参数的传递机制,包括值传递和引用传递的区别,以及String类对象的不可变性。通过详细讲解和示例代码,帮助读者理解参数传递的内部原理,并掌握在实际编程中正确处理参数传递的方法。关键词:Java, 方法参数传递, 值传递, 引用传递, String不可变性。
47 1
【编程基础知识】(讲解+示例实战)方法参数的传递机制(值传递及地址传递)以及String类的对象的不可变性
|
21天前
|
安全 Java 测试技术
Java零基础-StringBuffer 类详解
【10月更文挑战第9天】Java零基础教学篇,手把手实践教学!
21 2
|
24天前
|
存储 安全 C++
【C++打怪之路Lv8】-- string类
【C++打怪之路Lv8】-- string类
18 1
下一篇
无影云桌面