【Redis】二、Redis中字典结构

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: Redis的字典使用哈希表作为底层实现,一个哈希表里面有多个哈希表节点,而每个哈希表节点保存了字典中的一个键值对(key-value)

作者石臻臻, CSDN博客之星Top5Kafka Contributornacos Contributor华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家KnowStreaming


KnowStreaming  是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力不够的同学,可以联系我,当你导师带你参与开源!

Redis的字典使用哈希表作为底层实现,一个哈希表里面有多个哈希表节点,而每个哈希表节点保存了字典中的一个键值对(key-value)

11.字典的实现


说白了,基本上就是跟Java中的HashMap一样一样的

1.1 哈希表

typedef struct dictht{
 //哈希表数组 数组中的每个元素都指向 dict.h/dictEntry结构的指针,
 //每个dictEntry结构保存着一个键值对
 dictEntry **table;
 //哈希表大小 也就是 table的数组大小
 unsigned long size;
 //哈希表大小掩码,用于计算索引值;它总是等于size-1
 unsigned long sizemask;
 //该哈希表已有节点的数量  
 unsigned long used;
}dictht;

1.2 哈希表节点

typedef struct dictEntry{
 //键
 void *key;
 // 值 这个值可以是一个指针,或者一个uint64_t整数,又或者是一个int64_t整数
 union{
   void *val;
   unit64_t u64;
   int64_t s64;
    } v;
    // 指向下个哈希表节点 ,行程链表;
    //这个指针可以将多个哈希值相同的键值对链接在一起,来解决键冲突问题
    struct dictEntry *next;
}dictEntry;

1.3 字典

typedef struct dict{
 //类型特定函数
 dictType *type;
 //私有数据
 void *privdata;
 //哈希表
 dictht ht[2];
 //rehash 索引 当rehash不在进行时,值为-1
 int trehashidx;
}dict;

ht属性是一个包含两个项的数组,数组中的每个项都是一个dictht哈希表,一般情况下只是用ht[0]哈希表,ht[1]哈希表只会在对ht[0]进行rehash时使用。trehashidx属性记录了当前rehash的进度。

2解决键冲突


Redis哈希表使用链地址法来解决键冲突的!

3Rehash的步骤


1). 为字典的ht[1]哈希表分配空间,这个哈希表的空间大小取决于要执行的操作,以及ht[0]当前包含的键值对数量(就是 ht[0].used属性值)

  • 如果是扩展操作, 那么ht[1]的大小为第一个大于等于 ht[0].used2 并且是 2的n次方的数  例如 ht[0].used=10 那么102=20;  找出2的n次方中刚好大于等于20的那个数就行了,2的4次方是16 2的5次方是32 ,那么这个数就是32.
  • 如果是收缩操作,那么ht[1]的大小为第一个大于等于 ht[0].used 并且是 2的n次方的数 例如 ht[0].used=10  找出2的n次方中刚好大于等于10的那个数就行了,2的3次方是8 2的4次方是16 那么这个数就是16

2)将保存在ht[0]中的所有键值对rehash到ht[1]上面。 3)当ht[0]包含的所有键值对都迁移到了ht[1]之后(迁移的意思是从ht[0]移到ht[1]).这个时候ht[0]已经是一个空表了,释放掉ht[0],然后将ht[1]设置为ht[0],并在ht[1]新创建一个空白哈希表,为下一次rehash做准备

4哈希表的扩展与收缩


什么时候会自动对哈希表执行扩展操作呢 ?

  1. 服务器目前没有执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于1.
  2. 服务器正在执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于5. 其中哈希表负载因子 load_factor = ht[0].used / ht[0]size 因为BGSAVE命令或者BGREWRITEAOF命令过程中,Redis需要创建当前服务器进程的子进程,而大多数操作系统采用写时复制(copy-on-write)技术来优化子进程的使用效率。所以提供了复杂因子,从而尽可能避免在子进程存在期间就行哈希表的扩展操作。

当哈希表的负载因子小于0.1 会自动开始对哈希表的收缩操作

5渐进式rehash


为了避免rehash对服务器性能造成影响,服务器不是一次性将ht[0]里面所有键值对rehash到ht[1],而是分多次、渐进式的将ht[0]里面的键值对慢慢的rehash到ht[1]. 渐进式rehash步骤:

  1. 为ht[1]分配空间,让字典同时持有ht[0]和ht[1]两个哈希表
  2. 在自动中维持一个索引计数器变量 rehashidx,并将它的值设置为0,表示rehash工作正式开始。
  3. 在rehash期间,每次对字典执行 增删改查 时候,程序除了这些操作以外,还会顺带将ht[0]哈希表再rehashidx索引上的所有键值对rehash到ht[1],当rehash工作完成之后,程序将rehashidx属性曾加一 做一次增删改查操作,就从索引为rehash的数组去做一次迁移; 相当于吧rehash所需要的计算工作均摊到了对字典的每一次增删改查上面,从而避免了集中式的rehash带来的庞大计算量

渐进式rehash执行期间哈希表的操作


在rehash期间,字典会同时使用ht[0]和ht[1]两个哈希表,所以再rehash期间,字典的 删改查都会在两个哈希表上进行; 但是新增的话只会在ht[1]里面进行;

redis字典是如何进行rehash的? 数据量那么大的情况下怎么保证rehash不会影响性能

redis是利用了渐进式的rehash方式来均摊了rehash这个过程,每一次增删改查都是一个rehash;

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
29天前
|
存储 NoSQL Java
【Redis系列】那有序集合为什么要同时使用字典和跳跃表
面试官问:那有序集合为什么要同时使用字典和跳跃表来实现?我:这个设计主要是考虑了性能因素。1. 如果单纯使用字典,查询的效率很高是O(1),但执行类似ZRANGE、ZRNK时,排序性能低。每次排序需要在内存上对字典进行排序一次,同时消耗了额外的O(n)内存空间
28 1
【Redis系列】那有序集合为什么要同时使用字典和跳跃表
|
6月前
|
缓存 NoSQL 数据建模
【Redis源码】dict字典学习(三)
【Redis源码】dict字典学习(三)
46 0
|
5月前
|
NoSQL Java Redis
redis集群拓扑结构自动更新:使用Lettuce连接Cluster集群实例时异常处理(一)
redis集群拓扑结构自动更新:使用Lettuce连接Cluster集群实例时异常处理
324 0
|
5月前
|
缓存 NoSQL Redis
【Redis 系列】redis 学习十六,redis 字典(map) 及其核心编码结构
【Redis 系列】redis 学习十六,redis 字典(map) 及其核心编码结构
|
25天前
|
存储 NoSQL 算法
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现(字典)(二)
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现(字典)
36 0
|
5月前
|
存储 NoSQL 算法
[Redis 系列]redis 学习 17,redis 存储结构原理 1
[Redis 系列]redis 学习 17,redis 存储结构原理 1
|
3月前
|
存储 监控 NoSQL
redis7.0源码阅读(二):redis的基本存储结构
redis7.0源码阅读(二):redis的基本存储结构
40 0
|
4月前
|
存储 NoSQL Cloud Native
redis 存储结构原理 2
redis 存储结构原理 2
|
4月前
|
存储 NoSQL 算法
redis 存储结构原理 1
redis 存储结构原理 1
|
5月前
|
NoSQL 安全 算法
redis6.0源码分析:字典扩容与渐进式rehash
redis6.0源码分析:字典扩容与渐进式rehash
82 0