Redis 跳跃表的原理和实现

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: Redis 跳跃表的原理和实现

一、复习跳跃表

1.1 什么是跳跃表

   对于一个单链表来讲,即便链表中存储的数据是有序的,如果我们要想在其中查找某个数据,也只能从头到尾遍历链表。这样查找效率就会很低,时间复杂度会很高,是 O(n)。

   如果我们想要提高其查找效率,可以考虑在链表上建索引的方式。每两个结点提取一个结点到上一级,我们把抽出来的那一级叫作索引。

   这个时候,我们假设要查找节点8,我们可以先在索引层遍历,当遍历到索引层中值为 7 的结点时,发现下一个节点是9,那么要查找的节点8肯定就在这两个节点之间。我们下降到链表层继续遍历就找到了8这个节点。原先我们在单链表中找到8这个节点要遍历8个节点,而现在有了一级索引后只需要遍历五个节点。

   从这个例子里,我们看出,加来一层索引之后,查找一个结点需要遍的结点个数减少了,也就是说查找效率提高了,同理再加一级索引。

   从图中我们可以看出,查找效率又有提升。在例子中我们的数据很少,当有大量的数据时,我们可以增加多级索引,其查找效率可以得到明显提升。

   像这种链表加多级索引的结构,就是跳跃表!

1.2跳跃表的插入

首先我们需要插入几个数据。链表开始时是空的。

插入 level = 3,key = 1

当我们插入 level = 3,key = 1 时,结果如下:

插入 level = 1,key = 2

当继续插入 level = 1,key = 2 时,结果如下

插入 level = 2,key = 3

当继续插入 level = 2,key = 3 时,结果如下

插入 level = 3,key = 5

当继续插入 level = 3,key = 5 时,结果如下

插入 level = 1,key = 66

当继续插入 level = 1,key = 66 时,结果如下

插入 level = 2,key = 100

当继续插入 level = 2,key = 100 时,结果如下

二、Redis跳跃表

   Redis使用跳跃表作为有序集合键的底层实现之一,如果一个有序集合包含的元素数量比较多,又或者有序集合中元素的成员是比较长的字符串时, Redis就会使用跳跃表来作为有序集合健的底层实现。

   这里我们需要思考一个问题——为什么元素数量比较多或者成员是比较长的字符串的时候Redis要使用跳跃表来实现?

   从上面我们可以知道,跳跃表在链表的基础上增加了多级索引以提升查找的效率,但其是一个空间换时间的方案,必然会带来一个问题——索引是占内存的。原始链表中存储的有可能是很大的对象,而索引结点只需要存储关键值值和几个指针,并不需要存储对象,因此当节点本身比较大或者元素数量比较多的时候,其优势必然会被放大,而缺点则可以忽略。

2.1 Redis中跳跃表的实现

   Redis的跳跃表由zskiplistNode和skiplist两个结构定义,其中 zskiplistNode结构用于表示跳跃表节点,而 zskiplist结构则用于保存跳跃表节点的相关信息,比如节点的数量,以及指向表头节点和表尾节点的指针等等。

     上图展示了一个跳跃表示例,其中最左边的是 skiplist结构,该结构包含以下属性。

  • header:指向跳跃表的表头节点,通过这个指针程序定位表头节点的时间复杂度就为O(1)
  • tail:指向跳跃表的表尾节点,通过这个指针程序定位表尾节点的时间复杂度就为O(1)
  • level:记录目前跳跃表内,层数最大的那个节点的层数(表头节点的层数不计算在内),通过这个属性可以再O(1)的时间复杂度内获取层高最好的节点的层数。
  • length:记录跳跃表的长度,也即是,跳跃表目前包含节点的数量(表头节点不计算在内),通过这个属性,程序可以再O(1)的时间复杂度内返回跳跃表的长度。
    结构右方的是四个 zskiplistNode结构,该结构包含以下属性
  • 层(level):
       节点中用L1、L2、L3等字样标记节点的各个层,L1代表第一层,L代表第二层,以此类推。
       每个层都带有两个属性:前进指针和跨度。前进指针用于访问位于表尾方向的其他节点,而跨度则记录了前进指针所指向节点和当前节点的距离(跨度越大、距离越远)。在上图中,连线上带有数字的箭头就代表前进指针,而那个数字就是跨度。当程序从表头向表尾进行遍历时,访问会沿着层的前进指针进行。
       每次创建一个新跳跃表节点的时候,程序都根据幂次定律(powerlaw,越大的数出现的概率越小)随机生成一个介于1和32之间的值作为level数组的大小,这个大小就是层的“高度”。
  • 后退(backward)指针:
       节点中用BW字样标记节点的后退指针,它指向位于当前节点的前一个节点。后退指针在程序从表尾向表头遍历时使用。与前进指针所不同的是每个节点只有一个后退指针,因此每次只能后退一个节点。
  • 分值(score):
       各个节点中的1.0、2.0和3.0是节点所保存的分值。在跳跃表中,节点按各自所保存的分值从小到大排列。
  • 成员对象(oj):
       各个节点中的o1、o2和o3是节点所保存的成员对象。在同一个跳跃表中,各个节点保存的成员对象必须是唯一的,但是多个节点保存的分值却可以是相同的:分值相同的节点将按照成员对象在字典序中的大小来进行排序,成员对象较小的节点会排在前面(靠近表头的方向),而成员对象较大的节点则会排在后面(靠近表尾的方向)。

import java.util.ArrayList;
import java.util.List;
import java.util.Random;
/**
 * 实现跳跃表
 */
public class SkipList<T> {
    public static void main(String[] args) {
        SkipList<String> list = new SkipList<>();
        list.put(1, "1");
        list.put(2, "2");
        list.put(3, "3");
        list.put(5, "5");
        list.put(100, "100");
        list.put(66, "66");
        System.out.println(list);
        System.out.println("查找66 : " + list.get(66));
        list.delete(66);
    }
    /**
     * 跳跃表的节点的构成
     *
     * @param <E>
     */
    private static class SkipNode<E> {
        /**
         * 存储的数据
         */
        E val;
        /**
         * 跳跃表按照这个分数值进行从小到大排序。
         */
        Integer score;
        /**
         * next指针,指向下一层的指针
         */
        SkipNode<E> next, down;
        SkipNode(E val, int score) {
            this.val = val;
            this.score = score;
        }
    }
    /** 节点的高度,这里限制最高 4 层 */
    private static final int MAX_LEVEL = 4;
    /**
     * 跳跃表数据结构
     */
    private SkipNode<T> head;
    /** 节点级别 */
    private int level = 0;
    /**
     * 用于产生随机数的Random对象
     **/
    private Random random = new Random();
    public SkipList() {
        //创建默认初始高度的跳跃表
        this(4);
    }
    /**
     * 跳跃表的初始化
     */
    public SkipList(int level) {
        this.level = level;
        int i = level;
        SkipNode<T> temp = null;
        SkipNode<T> prev = null;
        while (i-- != 0) {
            temp = new SkipNode<T>(null, Integer.MAX_VALUE);
            temp.down = prev;
            prev = temp;
        }
        //头节点
        head = temp;
    }
    /**
     * 产生节点的高度。使用抛硬币
     *
     * @return
     */
    private int getRandomLevel() {
        int lev = 1;
        while (random.nextInt() % 2 == 0) {
            lev++;
        }
        return lev > MAX_LEVEL ? MAX_LEVEL : lev;
    }
    /**
     * 查找跳跃表中的一个值
     *
     * @param score 分数
     * @return
     */
    public T get(Integer score) {
        SkipNode<T> t = head;
        while (t != null) {
            if (t.score.equals(score)) {
                return t.val;
            }
            if (t.next == null) {
                if (t.down != null) {
                    t = t.down;
                    continue;
                } else {
                    return null;
                }
            }
            if (t.next.score > score) {
                t = t.down;
            } else {
                t = t.next;
            }
        }
        return null;
    }
    /**
     *
     * @param score 分数键(排序)
     * @param val  值
     */
    public void put(Integer score, T val) {
        SkipNode<T> t = head, cur = null;
        //记录每一层当前节点的前驱节点
        List<SkipNode<T>> path = new ArrayList<>();
        while (t != null) {
            if (t.score .equals(score)) {
                //表示存在该值的点,表示需要更新该节点
                cur = t;
                break;
            }
            if (t.next == null) {
                //需要向下查找,先记录该节点
                path.add(t);
                if (t.down != null) {
                    //进入下一个层级
                    t = t.down;
                    continue;
                } else {
                    break;
                }
            }
            if (t.next.score > score) {
                //需要向下查找,先记录该节点
                path.add(t);
                if (t.down == null) {
                    break;
                }
                t = t.down;
            } else {
                t = t.next;
            }
        }
        if (cur != null) {
            while (cur != null) {
                cur.val = val;
                cur = cur.down;
            }
        } else {
            //随机层级
            int lev = getRandomLevel();
            if (lev > level) {
                SkipNode<T> temp = null;
                //前驱节点现在是top了
                SkipNode<T> prev = head;
                while (level++ != lev) {
                    temp = new SkipNode<T>(null, Integer.MIN_VALUE);
                    //加到path的首部
                    path.add(0, temp);
                    temp.down = prev;
                    prev = temp;
                }
                //头节点
                head = temp;
                //level长度增加到新的长度
                level = lev;
            }
            //从后向前遍历path中的每一个节点,在其后面增加一个新的节点
            SkipNode<T> downTemp = null, temp, prev;
            for (int i = level - 1; i >= level - lev; i--) {
                temp = new SkipNode<T>(val, score);
                prev = path.get(i);
                temp.next = prev.next;
                prev.next = temp;
                temp.down = downTemp;
                downTemp = temp;
            }
        }
    }
    /**
     * 根据score的值来删除节点。
     *
     * @param score 分数键(排序)
     */
    public void delete(Integer score) {
        //1,查找到节点列的第一个节点的前驱
        SkipNode<T> t = head;
        while (t != null) {
            if (t.next == null) {
                t = t.down;
                continue;
            }
            // 在这里说明找到了该删除的节点
            if (t.next.score.equals(score)) {
                t.next = t.next.next;
                t = t.down;
                //删除当前节点后,还需要继续查找之后需要删除的节点
                continue;
            }
            if (t.next.score > score) {
                t = t.down;
            } else {
                t = t.next;
            }
        }
    }
    /**
     * 输出结果,一层一层输出
     * @return
     */
    @Override
    public String toString() {
        StringBuilder sb = new StringBuilder();
        SkipNode<T> t = head, next;
        while (t != null) {
            next = t;
            while (next != null) {
                sb.append(next.score).append(" ");
                next = next.next;
            }
            sb.append("\n");
            t = t.down;
        }
        return sb.toString().replace(Integer.MAX_VALUE+"","").replace("-2147483648","");
    }
}

2.2 Redis跳跃表常用操作的时间复杂度

操作 时间复杂度
创建一个跳跃表 O(1)
释放给定跳跃表以及其中包含的节点 O(N)
添加给定成员和分值的新节点 平均O(logN),最坏O(logN)(N为跳跃表的长度)
删除除跳跃表中包含给定成员和分值的节点 平均O(logN),最坏O(logN)(N为跳跃表的长度)
返回给定成员和分值的节点再表中的排位 平均O(logN),最坏O(logN)(N为跳跃表的长度)
返回在给定排位上的节点 平均O(logN),最坏O(logN)(N为跳跃表的长度)
给定一个分值范围,返回跳跃表中第一个符合这个范围的节点 O(1)
给定一个分值范围,返回跳跃表中最后一个符合这个范围的节点 平均O(logN),最坏O(logN)(N为跳跃表的长度)
给定一个分值范围,除跳跃表中所有在这个范围之内的节点 平均O(logN),最坏O(logN)(N为跳跃表的长度)
给定一个排位范围,鼎除跳跃表中所有在这个范围之内的节点 O(N),N为被除节点数量
给定一个分值范固(range),比如0到15,20到28,诸如此类,如果跳氏表中有至少一个节点的分值在这个范間之内,那么返回1,否则返回0 O(N),N为被除节点数量

本文重点

  • 跳跃表基于单链表加索引的方式实现
  • 跳跃表以空间换时间的方式提升了查找速度
  • Redis有序集合在节点元素较大或者元素数量较多时使用跳跃表实现
  • Redis的跳跃表实现由 zskiplist和 zskiplistnode两个结构组成,其中 zskiplist用于保存跳跃表信息(比如表头节点、表尾节点、长度),而zskiplistnode则用于表示跳跃表节点
  • Redis每个跳跃表节点的层高都是1至32之间的随机数
  • 在同一个跳跃表中,多个节点可以包含相同的分值,但每个节点的成员对象必须是唯一的跳跃表中的节点按照分值大小进行排序,当分值相同时,节点按照成员对象的大小进行排序。

参考文章

存储系统中的算法:LSM 树设计原理


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
23天前
|
存储 NoSQL 定位技术
Redis geo原理
Redis的GEO功能基于Earth Mapper(http://earth-api.org/)库,它允许存储地理位置信息并执行一些基于该信息的操作。
25 3
|
2月前
|
缓存 NoSQL Linux
redis的原理(三)
redis的原理(三)
redis的原理(三)
|
1月前
|
设计模式 NoSQL 网络协议
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
36 2
|
1月前
|
存储 缓存 NoSQL
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
56 1
|
1月前
|
NoSQL 关系型数据库 MySQL
Redis 事务特性、原理、具体命令操作全方位诠释 —— 零基础可学习
本文全面阐述了Redis事务的特性、原理、具体命令操作,指出Redis事务具有原子性但不保证一致性、持久性和隔离性,并解释了Redis事务的适用场景和WATCH命令的乐观锁机制。
201 0
Redis 事务特性、原理、具体命令操作全方位诠释 —— 零基础可学习
|
2月前
|
存储 缓存 NoSQL
redis的原理(四)
redis的原理(四)
|
2月前
|
存储 缓存 NoSQL
redis的原理(二)
redis的原理(二)
|
2月前
|
缓存 NoSQL 安全
Redis的原理(一)
Redis的原理(一)
|
1月前
|
消息中间件 NoSQL Kafka
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
129 0
|
3月前
|
运维 监控 NoSQL
【Redis】哨兵(Sentinel)原理与实战全解~炒鸡简单啊
Redis 的哨兵模式(Sentinel)是一种用于实现高可用性的机制。它通过监控主节点和从节点,并在主节点故障时自动进行切换,确保集群持续提供服务。哨兵模式包括主节点、从节点和哨兵实例,具备监控、通知、自动故障转移等功能,能显著提高系统的稳定性和可靠性。本文详细介绍了哨兵模式的组成、功能、工作机制以及其优势和局限性,并提供了单实例的安装和配置步骤,包括系统优化、安装、配置、启停管理和性能监控等。此外,还介绍了如何配置主从复制和哨兵,确保在故障时能够自动切换并恢复服务。