redis数据结构实现--字典(set)

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: redis数据结构实现(三) 3.1 字典的实现 *字典是一种保存键值对的抽象数据结构。set key value 将存在数据库字典中,键不可重复。哈希键的底层实现之一就是字典。 *Redis的字典使用哈希表作为底层实现,一个哈希表中有多个哈希节点,而每个节点中就保存了字典的一个键值对。

redis数据结构实现--字典(set)

3.1 字典的实现


字典是一种保存键值对的抽象数据结构。
set key value 将存在数据库字典中,键不可重复。
哈希键的底层实现之一就是字典。


Redis的字典使用哈希表作为底层实现,一个哈希表中有多个哈希节点,而每个节点中就保存了字典的一个键值对。

哈希表结构定义:

typeof struct dictht{

    //哈希表数组
    dictEntry **table;
    
    //哈希表大小
    unsigned long size;
    
    //哈希表大小掩码,用于计算索引值
    //总是等于size-1
    unsigned long sizemask;
    
    //该哈希表已有节点数
    unsigned long used;
    
}dictht;

table属性是一个数组,数组中每一个元素都是指向dictEntry结构的指针,每个dictEntry保存着一对键值。
哈希表大小掩码sizemask和key的哈希值一起决定一个键应该放在table数组上的哪个索引上.


Image_2_

哈希节点的结构定义:

typeof struct dictEntry{
    //键
    void *key;
    
    //值
    union{
        void *val;
        uint64_tu64;
        int64_ts64;
    }v;
    
    //指向下个哈希表节点,形成链表
    struct dictEntry *next;
}dictEntry;

v中保存着键值中的值,可以是一个指针,也可以是一个int64整数,也可以是uint64整数。
*next是用来指向另个哈希表节点的指针,用来解决键哈希值冲突问题(类似于HashMap)。

字典的结构定义:

typeof struct dict{

    //类型特定函数
    dictType *type;
    
    //私有数据
    void *privdata;
    
    //哈希表
    dictht ht[2];
    
    //rehash索引,当rehash不在进行时值为-1
    in rehashidx;
    
}dict;
  • type属性和privdata属性是为了针对不同类型的键值对,为创建多态字典而设置的。

    • [ ] type属性是一个指向dictType结构的指针,每个dictType保存了一簇用于操作特定类型键值对的函数,redis为不同用途的字典设置不同类型特定的函数。
    • [ ] privdata保存了要传给那些类型特定函数的可选参数。

  • ht属性是一个包含两个项的数组,每一项都是一个dictht哈希表,一般情况下只会用ht[0],ht[1]只会在ht[0]进行rehash的时候用。
  • rehashidx记录当前rehash的进度,如果没有rehash在进行则为-1

Image


3.2 哈希算法

添加新键值对时,先用字典设置的哈希函数根据key算出哈希值,再用哈希值和sizemask按位与运算得出包含此键值对的哈希节点在哈希数组中的索引值。

3.3 键冲突


Redis用链地址法解决键冲突,每个哈希节点都有一个next指针,发生键冲突时就用next指针构成单向链表,跟hashmap一样。

3.4 rehash

为了让加载因子 loadfactor维持在合理范围内,当保存的哈希节点过多或过少的时候,需要对哈希表进行扩展或缩容。
loadfactor = 存放节点数/哈希表大小

规定:拓展操作给ht[1]分配第一个大于等于ht[0].used*2的2的n次方幂的空间
        缩容操作给ht[1]分配第一个大于等于ht[0].used的2的n次方幂的空间
        
rehash是指重新计算ht[0]上节点的哈希值和索引值并放置到ht[1]上去
当ht[0]上所有节点都转移到ht[1]上以后,释放ht[0],并将ht[1]改为ht[0]
最后在ht[1]上创建空哈希表
  • 没有在执行BGSAVE或BGREWRITEAOF命令时,负载因子大于1进行扩容
  • 在执行BGSAVE或BGREWRITEAOF命令时,负载因子大于5进行扩容
  • 负载因子小于0.1时进行缩容

因为在BGSAVE或BGREWRITEAOF命令时,Redis会创建子进程,应避免在子进程存在期间进行扩展操作,来节约内存。


#### 渐进式rehash详解:
如果不采取渐进式rehash,而是一股脑全部rehash,很有可能给服务器带来巨大压力
字典结构中有一个 rehashidx 用来监控rehash进度。

  1. rehash开始,rehashidx设置为0;
  2. 期间,将ht[0]中在rehashidx索引上的节点rehash到ht[1]上,rehashidx自增
  3. 所有节点都rehash到ht[1]上后,rehashidx设置为-1,表示rehash结束

    在rehash期间如果有搜索操作,将会先搜索ht[0],找不到再去ht[1]
    如果是新增节点将直接增到ht[1]中

目录
相关文章
|
17天前
|
消息中间件 缓存 NoSQL
Redis各类数据结构详细介绍及其在Go语言Gin框架下实践应用
这只是利用Go语言和Gin框架与Redis交互最基础部分展示;根据具体业务需求可能需要更复杂查询、事务处理或订阅发布功能实现更多高级特性应用场景。
144 86
|
17天前
|
存储 缓存 NoSQL
Redis基础命令与数据结构概览
Redis是一个功能强大的键值存储系统,提供了丰富的数据结构以及相应的操作命令来满足现代应用程序对于高速读写和灵活数据处理的需求。通过掌握这些基础命令,开发者能够高效地对Redis进行操作,实现数据存储和管理的高性能方案。
57 12
|
16天前
|
存储 消息中间件 NoSQL
【Redis】常用数据结构之List篇:从常用命令到典型使用场景
本文将系统探讨 Redis List 的核心特性、完整命令体系、底层存储实现以及典型实践场景,为读者构建从理论到应用的完整认知框架,助力开发者在实际业务中高效运用这一数据结构解决问题。
|
25天前
|
存储 缓存 NoSQL
【Redis】 常用数据结构之String篇:从SET/GET到INCR的超全教程
无论是需要快速缓存用户信息,还是实现高并发场景下的精准计数,深入理解String的特性与最佳实践,都是提升Redis使用效率的关键。接下来,让我们从基础命令开始,逐步揭开String数据结构的神秘面纱。
|
2月前
|
存储 缓存 JavaScript
Set和Map有什么区别?
Set和Map有什么区别?
250 1
|
3月前
|
存储 JavaScript 前端开发
for...of循环在遍历Set和Map时的注意事项有哪些?
for...of循环在遍历Set和Map时的注意事项有哪些?
258 121
|
6月前
|
编译器 C++ 容器
【c++丨STL】基于红黑树模拟实现set和map(附源码)
本文基于红黑树的实现,模拟了STL中的`set`和`map`容器。通过封装同一棵红黑树并进行适配修改,实现了两种容器的功能。主要步骤包括:1) 修改红黑树节点结构以支持不同数据类型;2) 使用仿函数适配键值比较逻辑;3) 实现双向迭代器支持遍历操作;4) 封装`insert`、`find`等接口,并为`map`实现`operator[]`。最终,通过测试代码验证了功能的正确性。此实现减少了代码冗余,展示了模板与仿函数的强大灵活性。
172 2
|
3月前
|
存储 C++ 容器
unordered_set、unordered_multiset、unordered_map、unordered_multimap的介绍及使用
unordered_set是不按特定顺序存储键值的关联式容器,其允许通过键值快速的索引到对应的元素。在unordered_set中,元素的值同时也是唯一地标识它的key。在内部,unordered_set中的元素没有按照任何特定的顺序排序,为了能在常数范围内找到指定的key,unordered_set将相同哈希值的键值放在相同的桶中。unordered_set容器通过key访问单个元素要比set快,但它通常在遍历元素子集的范围迭代方面效率较低。它的迭代器至少是前向迭代器。前向迭代器的特性。
182 0
|
3月前
|
编译器 C++ 容器
用一棵红黑树同时封装出map和set
再完成上面的代码后,我们的底层代码已经完成了,这时候已经是一个底层STL的红黑树了,已经已符合库里面的要求了,这时候我们是需要给他穿上对应的“衣服”,比如穿上set的“衣服”,那么这个穿上set的“衣服”,那么他就符合库里面set的要求了,同样map一样,这时候我们就需要实现set与map了。因此,上层容器map需要向底层红黑树提供一个仿函数,用于获取T当中的键值Key,这样一来,当底层红黑树当中需要比较两个结点的键值时,就可以通过这个仿函数来获取T当中的键值了。我们就可以使用仿函数了。
45 0