Redis数据结构—跳跃表 skiplist 实现源码分析

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Redis 是一个内存中的数据结构服务器,使用跳跃表(skiplist)来实现有序集合。跳跃表是一种概率型数据结构,支持平均 O(logN) 查找复杂度,它通过多层链表加速查找,同时保持有序性。节点高度随机生成,最大为 32 层,以平衡查找速度和空间效率。跳跃表在 Redis 中用于插入、删除和按范围查询元素,其内部节点包含对象、分值、后退指针和多个前向指针。Redis 源码中的 `t_zset.c` 文件包含了跳跃表的具体实现细节。

Redis 是一个开源的内存数据结构存储系统,它可以用作数据库、缓存和消息中间件。Redis 的数据结构非常丰富,其中跳跃表(skiplist)是一种重要的数据结构,它被用来实现有序集合(sorted sets)。

跳跃表是一种概率型数据结构,它通过多层链表来实现快速的查找操作。跳跃表的结构类似于多层索引,每一层都是一个有序链表,但每一层的链表节点数量逐渐减少,最顶层的链表节点最少,最底层的链表节点最多。这样设计的好处是,可以在对数时间内完成查找操作,同时插入和删除操作也非常高效。

跳跃表的主要特点包括:

  • 有序性:跳跃表中的元素是有序的,可以快速地进行范围查询。
  • 概率性:跳跃表的高度是随机决定的,这使得它在平均情况下具有对数时间复杂度。
  • 动态性:跳跃表可以在运行时动态地添加和删除元素,而不需要重新构建整个结构。
  • 空间效率:相比于平衡树,跳跃表的空间效率更高,因为它不需要存储指向父节点的指针。

在 Redis 中,跳跃表被用于实现有序集合,它允许用户添加、删除、更新和查询元素,并且可以按照分数对元素进行排序。跳跃表的实现细节在 Redis 源码中可以找到,它是 Redis 高效性的关键因素之一。

以下是根据 Redis 源码对其实现原理的详细分析:

数据结构定义:Redis 中的跳跃表由 zskiplistNode 和 zskiplist 两个结构体定义。zskiplistNode 表示跳跃表的节点,包含成员对象 obj、分值 score、后退指针 backward 以及层 level 信息;zskiplist 表示跳跃表本身,包含头尾节点指针、长度和层高信息。

节点层级:跳跃表的每个节点可以有多个层,称为索引层,每个索引层包含一个前向指针 forward 和跨度 span。层高是随机生成的,遵循幂次定律,最大层高为 32。

创建跳跃表:使用 zslCreate 函数创建一个新的跳跃表,初始化层高为 1,长度为 0,并创建头节点,头节点的层高为 32,其余节点的层高根据需要动态生成。

插入节点:插入操作首先确定新节点的层高,然后从高层向低层搜索插入位置,并更新 update 数组,该数组记录所有需要调整的前置节点。接着,创建新节点,并根据 update 数组和 rank 数组更新跨度和前向指针。

查找操作:查找操作从高层开始,沿着链表前进;遇到大于目标值的节点时下降到下一层,继续查找。经过的所有节点的跨度之和即为目标节点的排位(rank)。

删除节点:删除操作根据分值和对象找到待删除节点,并更新相关节点的前向指针和跨度。如果节点在多层中存在,需要逐层删除。

性能分析:跳跃表支持平均 O(logN)、最坏 O(N) 复杂度的节点查找,且实现比平衡树简单。在有序集合中,跳跃表可以处理元素数量较多或元素成员较长的情况。

Redis 应用场景:Redis 使用跳跃表实现有序集合键,特别是当集合中的元素数量较多或元素的成员是较长的字符串时。跳跃表也用于 Redis 集群节点中的内部数据结构。

跳跃表的优点:跳跃表的优点包括支持快速的查找操作,以及在实现上相对简单。它通过维护多个层级的链表来提高查找效率,且可以顺序性地批量处理节点。

跳跃表的实现细节:跳跃表的实现细节包括节点的创建、插入、删除、搜索等操作,以及维护跳跃表的最大层高和节点数量等信息。具体实现可以参考 Redis 源码中的 t_zset.c 文件。

Redis 的跳跃表实现是对其有序集合性能和功能的重要支撑,通过上述分析,我们可以更深入地理解这一数据结构的内部机制。

结合 Redis 源码中的跳跃表实现,我们可以深入理解其工作原理。以下是根据 Redis 源码中的跳跃表实现代码进行的分析:

跳跃表节点定义 (zskiplistNode)

typedef struct zskiplistNode {
    robj *obj; // 指向成员对象的指针
    double score; // 分数值
    struct zskiplistNode *backward; // 后退指针,用于从后往前遍历
    struct zskiplistLevel {
        struct zskiplistNode *forward; // 前进指针
        unsigned int span; // 跨度,表示该层跨越的元素数量
    } level[]; // 索引层,包含多个索引
} zskiplistNode;

跳跃表定义 (zskiplist)

typedef struct zskiplist {
    struct zskiplistNode *header, *tail; // 头尾节点指针
    unsigned long length; // 跳跃表的长度,即元素数量
    int level; // 跳跃表的最大层数
} zskiplist;

跳跃表的创建 (zslCreate)

zskiplist *zslCreate(void) {
    int j;
    zskiplist *zsl = zmalloc(sizeof(*zsl));
    zsl->level = 1;
    zsl->length = 0;
    zsl->header = zslCreateNode(ZSKIPLIST_MAXLEVEL, 0, NULL);
    // 初始化头节点的各个层的跨度和前向指针
    for (j = 0; j < ZSKIPLIST_MAXLEVEL; j++) {
        zsl->header->level[j].forward = NULL;
        zsl->header->level[j].span = 0;
    }
    zsl->header->backward = NULL;
    zsl->tail = NULL;
    return zsl;
}

跳跃表的插入 (zslInsert)

zskiplistNode *zslInsert(zskiplist *zsl, double score, robj *obj) {
    // ...
    // 1. 初始化更新数组和 rank 数组
    // 2. 从高层向底层搜索,找到每个层级的插入位置
    // 3. 确定新节点的层数
    // 4. 创建新节点,并更新前向指针和跨度
    // 5. 更新跳跃表的最大层数和长度
    // ...
}

跳跃表的搜索 (zslGetRank)

unsigned long zslGetRank(zskiplist *zsl, double score, robj *o, int reverse) {
    // ...
    // 1. 从高层向底层搜索目标元素
    // 2. 累加跨度以计算元素的排名
    // ...
}

跳跃表的删除 (zslDelete)

zskiplistNode *zslDelete(zskiplist *zsl, double score, robj *obj) {
    // ...
    // 1. 搜索目标元素并记录需要更新的节点
    // 2. 逐层删除节点
    // 3. 更新跨度和前向指针
    // 4. 如果删除了头节点,更新头节点
    // ...
}

跳跃表的高度随机化

Redis 中节点的层高是随机决定的,通常使用固定概率(如 1/2)来确定。但在 Redis 实现中,节点的层高是根据幂次定律随机生成的,介于 1 和 32 之间。

总结

Redis 的跳跃表实现涉及多个关键操作:创建、插入、搜索和删除。每个操作都需要对节点的层级和跨度进行精确管理,以保证跳跃表的有序性和高效的查找性能。跳跃表的高度随机化和层级结构的设计使得 Redis 能够在对数时间内完成查找操作,同时保持了较高的空间效率和动态性。通过源码分析,我们可以更深入地理解 Redis 中跳跃表的内部机制和实现细节。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
21天前
|
NoSQL 算法 安全
Redis原理—1.Redis数据结构
本文介绍了Redis 的主要数据结构及应用。
Redis原理—1.Redis数据结构
|
3月前
|
存储 消息中间件 缓存
Redis 5 种基础数据结构?
Redis的五种基础数据结构——字符串、哈希、列表、集合和有序集合——提供了丰富的功能来满足各种应用需求。理解并灵活运用这些数据结构,可以极大地提高应用程序的性能和可扩展性。
63 2
|
4月前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
82 5
|
6天前
|
缓存 NoSQL Java
Redis应用—8.相关的缓存框架
本文介绍了Ehcache和Guava Cache两个缓存框架及其使用方法,以及如何自定义缓存。主要内容包括:Ehcache缓存框架、Guava Cache缓存框架、自定义缓存。总结:Ehcache适合用作本地缓存或与Redis结合使用,Guava Cache则提供了更灵活的缓存管理和更高的并发性能。自定义缓存可以根据具体需求选择不同的数据结构和引用类型来实现特定的缓存策略。
Redis应用—8.相关的缓存框架
|
1月前
|
缓存 NoSQL 中间件
Redis,分布式缓存演化之路
本文介绍了基于Redis的分布式缓存演化,探讨了分布式锁和缓存一致性问题及其解决方案。首先分析了本地缓存和分布式缓存的区别与优劣,接着深入讲解了分布式远程缓存带来的并发、缓存失效(穿透、雪崩、击穿)等问题及应对策略。文章还详细描述了如何使用Redis实现分布式锁,确保高并发场景下的数据一致性和系统稳定性。最后,通过双写模式和失效模式讨论了缓存一致性问题,并提出了多种解决方案,如引入Canal中间件等。希望这些内容能为读者在设计分布式缓存系统时提供有价值的参考。感谢您的阅读!
130 6
Redis,分布式缓存演化之路
|
3月前
|
存储 缓存 NoSQL
解决Redis缓存数据类型丢失问题
解决Redis缓存数据类型丢失问题
206 85
|
5月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
107 6
|
2天前
|
存储 缓存 NoSQL
Redis缓存设计与性能优化
Redis缓存设计与性能优化涵盖缓存穿透、击穿、雪崩及热点key重建等问题。针对缓存穿透,可采用缓存空对象或布隆过滤器;缓存击穿通过随机设置过期时间避免集中失效;缓存雪崩需确保高可用性并使用限流熔断组件;热点key重建利用互斥锁防止大量线程同时操作。此外,开发规范强调键值设计、命令使用和客户端配置优化,如避免bigkey、合理使用批量操作和连接池管理。系统内核参数如vm.swappiness、vm.overcommit_memory及文件句柄数的优化也至关重要。慢查询日志帮助监控性能瓶颈。
24 9
|
2月前
|
存储 缓存 NoSQL
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
|
2月前
|
缓存 NoSQL 关系型数据库
云端问道21期实操教学-应对高并发,利用云数据库 Tair(兼容 Redis®)缓存实现极速响应
本文介绍了如何通过云端问道21期实操教学,利用云数据库 Tair(兼容 Redis®)缓存实现高并发场景下的极速响应。主要内容分为四部分:方案概览、部署准备、一键部署和完成及清理。方案概览中,展示了如何使用 Redis 提升业务性能,降低响应时间;部署准备介绍了账号注册与充值步骤;一键部署详细讲解了创建 ECS、RDS 和 Redis 实例的过程;最后,通过对比测试验证了 Redis 缓存的有效性,并指导用户清理资源以避免额外费用。