Redis从入门到精通之底层数据结构压缩列表(ZipList)详解

本文涉及的产品
云原生内存数据库 Tair,内存型 2GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Redis 版,经济版 1GB 1个月
简介: Redis中的压缩列表(ZipList)是一种特殊的数据结构,用于存储一系列的连续元素。ZipList是Redis中的底层数据结构之一,常用于存储列表和哈希表等数据类型的底层实现。在本文中,我们将深入了解Redis中的压缩列表,包括ZipList的结构和操作等。

Redis中的压缩列表(ZipList)是一种特殊的数据结构,用于存储一系列的连续元素。ZipList是Redis中的底层数据结构之一,常用于存储列表和哈希表等数据类型的底层实现。在本文中,我们将深入了解Redis中的压缩列表,包括ZipList的结构和操作等。

1. 压缩列表的结构

Redis中的压缩列表(ZipList)是由一系列的节点(entry)组成的。每个节点可以是一个字节数组(byte array)、一个整数或者一个指针。在ZipList中,每个节点的大小是不固定的,取决于节点所包含的数据类型和数据大小。ZipList中节点的个数也是不固定的,可以根据需要动态增加或减少。

ZipList的结构如下图所示:

+--------+--------+--------+--------+--+-----+
| zlbytes| zltail | zllen  |entry1  |..|entryN|
+--------+--------+--------+--------+--+-----+
  • zlbytes字段的类型是uint32_t, 这个字段中存储的是整个ziplist所占用的内存的字节数
  • zltail字段的类型是uint32_t, 它指的是ziplist中最后一个entry的偏移量. 用于快速定位最后一个entry, 以快速完成pop等操作
  • zllen字段的类型是uint16_t, 它指的是整个ziplit中entry的数量. 这个值只占2bytes(16位): 如果ziplist中entry的数目小于65535(2的16次方), 那么该字段中存储的就是实际entry的值. 若等于或超过65535, 那么该字段的值固定为65535, 但实际数量需要一个个entry的去遍历所有entry才能得到.
  • zlend是一个终止字节, 其值为全F, 即0xff. ziplist保证任何情况下, 一个entry的首字节都不会是255

其中,zlbytes是压缩列表的长度(包括所有的字节),zltail是指向压缩列表尾部的指针,zllen是压缩列表中节点的个数,entry1到entryN是压缩列表中的所有节点。

节点结构

在压缩列表中,每个节点的结构如下:

+--------+--------+
| prevlen| encoding| data  |
+--------+--------+

prevlen是前一个节点的长度(单位为字节),encoding是数据的编码方式,data是节点的实际数据。在压缩列表中,prevlen和encoding都是可选的。当节点的前一个节点的长度小于254字节时,prevlen字段被省略,encoding字段存储在数据之前,否则prevlen字段占用5个字节,encoding字段存储在prevlen后面的5个字节中。

根据不同的数据类型,压缩列表中节点的编码方式也有所不同,下面是常用的节点编码方式:

  • 字节数组(byte array):
+--------+--------+---------------+
| prevlen| 0xc000 |    length     |
+--------+--------+---------------+
|              data               |
+---------------------------------+

其中,0xc000是一个特殊的编码方式,用于标识节点存储的是字节数组。length是字节数组的长度,data是字节数组的实际数据。

  • 整数:
+--------+--------+--------+
| prevlen|  int   |   int  |
+--------+--------+--------+

其中,int是一个整数,可以是8位、16位或32位的有符号整数。

  • 指针:
+--------+--------+--------+
| prevlen|  0x01  |  ptr   |
+--------+--------+--------+

其中,0x01是一个特殊的编码方式,用于标识节点存储的是指针。ptr是一个指针,可以指向任意的内存地址。

2. 压缩列表的操作

Redis中的压缩列表支持以下常用的操作:

  • 压缩列表的创建
unsigned char *zl = ziplistNew();
  • 压缩列表的添加
zl = ziplistPush(zl, s, len, ZIPLIST_TAIL);

其中,s是一个字节数组,len是字节数组的长度,ZIPLIST_TAIL表示在压缩列表的尾部添加节点。

zl = ziplistPushInt(zl, value);

其中,value是一个整数,表示在压缩列表的尾部添加整数节点。

  • 压缩列表的删除
zl = ziplistDelete(zl, &p);

其中,p是一个指向要删除的节点的指针。

  • 压缩列表的遍历
unsigned char *p = ziplistIndex(zl, index);
unsigned char *entry = NULL;
unsigned int entry_len = 0;
long long entry_int = 0;
int ret = ziplistGet(p, &entry, &entry_len, &entry_int);

其中,index是节点的下标,p是指向节点的指针,entry是节点的数据(字节数组或整数),entry_len是字节数组的长度,entry_int是整数的值,ret表示节点的数据类型(字节数组或整数)。

  • 压缩列表的长度
unsigned int ziplistLen(unsigned char *zl);

以上是常用的压缩列表操作,还有其他的操作可以参考Redis源代码中的ziplist.h和ziplist.c文件。

3. 压缩列表的优缺点

3.1优点:

  • 紧凑的存储结构使得压缩列表的空间占用更小,可以在一定程度上减少内存碎片的发生。
  • 压缩列表支持动态增加和删除节点,可以随着数据的增长而自动扩容或缩容,不需要预先分配空间。
  • 压缩列表的节点采用紧凑的存储方式,使得节点访问和遍历的效率较高。同时,压缩列表支持从头和尾部两个方向同时遍历节点。

3.2缺点:

  • 节点大小不固定,当节点的大小随着数据的增长而不断变化时,可能会导致内存碎片的发生,从而增加了内存分配和释放的成本。
  • 压缩列表不支持快速的节点插入和删除操作,因为在插入或删除节点时,需要对后面的节点进行移动,会导致频繁的内存复制操作,从而影响性能。如果需要频繁进行插入和删除操作,建议使用链表等其他数据结构。
  • 压缩列表的节点的数据类型和大小有限制,不适合存储大量的大型数据。例如,压缩列表最大支持512MB的大小,单个节点最大支持64KB的大小,单个整数节点最大支持32位的有符号整数。如果需要存储大量的大型数据,建议使用其他数据结构,例如哈希表或有序集合。

4. 总结

本文详细介绍了Redis中的压缩列表(ZipList),包括ZipList的结构和操作等。压缩列表是Redis中的底层数据结构之一,常用于存储列表和哈希表等数据类型的底层实现。压缩列表具有紧凑的存储结构、支持动态增加和删除节点、支持快速的节点访问和遍历等优点,但也有节点大小不固定、不支持快速的节点插入和删除操作等缺点。在实际应用中,需要根据具体的需求选择合适的数据结构来存储数据。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
6天前
|
存储 NoSQL 安全
Redis 的底层数据结构(跳跃表)
Redis 的底层数据结构(跳跃表)
|
7天前
|
NoSQL Java Redis
如何在 Java 中操作这些 Redis 数据结构的基本方法
如何在 Java 中操作这些 Redis 数据结构的基本方法
11 2
|
1天前
|
存储 缓存 NoSQL
Redis为什么速度快:数据结构、存储及IO网络原理总结
Redis为什么速度快:数据结构、存储及IO网络原理总结
7 0
|
1天前
|
存储 NoSQL API
Redis数据结构与底层实现揭秘
Redis数据结构与底层实现揭秘
6 0
|
8天前
|
存储 安全 Java
Go语言入门之路——数据结构
Go语言入门之路——数据结构
|
8天前
|
存储 NoSQL 算法
redis数据结构—哈希表
redis数据结构—哈希表
13 0
|
14天前
|
存储 缓存 NoSQL
rodert单排学习redis入门【黑铁】2
rodert单排学习redis入门【黑铁】
22 0
|
14天前
|
存储 缓存 NoSQL
rodert单排学习redis入门【黑铁】1
rodert单排学习redis入门【黑铁】
15 0
|
16天前
|
机器学习/深度学习 算法
数据结构入门 时间 空间复杂度解析
数据结构入门 时间 空间复杂度解析
11 0
|
22天前
|
缓存 NoSQL 关系型数据库
Redis第二课,1.set key value(设置对应的key和value)2.get key(得到value值)Redis全局命令(支持很多的数据结构)3.keys(用来查询当前
Redis第二课,1.set key value(设置对应的key和value)2.get key(得到value值)Redis全局命令(支持很多的数据结构)3.keys(用来查询当前