【Redis】二、Redis中字典结构

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Redis的字典使用哈希表作为底层实现,一个哈希表里面有多个哈希表节点,而每个哈希表节点保存了字典中的一个键值对(key-value)

作者石臻臻, CSDN博客之星Top5Kafka Contributornacos Contributor华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家KnowStreaming


KnowStreaming  是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力不够的同学,可以联系我,当你导师带你参与开源!

Redis的字典使用哈希表作为底层实现,一个哈希表里面有多个哈希表节点,而每个哈希表节点保存了字典中的一个键值对(key-value)

11.字典的实现


说白了,基本上就是跟Java中的HashMap一样一样的

1.1 哈希表

typedef struct dictht{
 //哈希表数组 数组中的每个元素都指向 dict.h/dictEntry结构的指针,
 //每个dictEntry结构保存着一个键值对
 dictEntry **table;
 //哈希表大小 也就是 table的数组大小
 unsigned long size;
 //哈希表大小掩码,用于计算索引值;它总是等于size-1
 unsigned long sizemask;
 //该哈希表已有节点的数量  
 unsigned long used;
}dictht;

1.2 哈希表节点

typedef struct dictEntry{
 //键
 void *key;
 // 值 这个值可以是一个指针,或者一个uint64_t整数,又或者是一个int64_t整数
 union{
   void *val;
   unit64_t u64;
   int64_t s64;
    } v;
    // 指向下个哈希表节点 ,行程链表;
    //这个指针可以将多个哈希值相同的键值对链接在一起,来解决键冲突问题
    struct dictEntry *next;
}dictEntry;

1.3 字典

typedef struct dict{
 //类型特定函数
 dictType *type;
 //私有数据
 void *privdata;
 //哈希表
 dictht ht[2];
 //rehash 索引 当rehash不在进行时,值为-1
 int trehashidx;
}dict;

ht属性是一个包含两个项的数组,数组中的每个项都是一个dictht哈希表,一般情况下只是用ht[0]哈希表,ht[1]哈希表只会在对ht[0]进行rehash时使用。trehashidx属性记录了当前rehash的进度。

2解决键冲突


Redis哈希表使用链地址法来解决键冲突的!

3Rehash的步骤


1). 为字典的ht[1]哈希表分配空间,这个哈希表的空间大小取决于要执行的操作,以及ht[0]当前包含的键值对数量(就是 ht[0].used属性值)

  • 如果是扩展操作, 那么ht[1]的大小为第一个大于等于 ht[0].used2 并且是 2的n次方的数  例如 ht[0].used=10 那么102=20;  找出2的n次方中刚好大于等于20的那个数就行了,2的4次方是16 2的5次方是32 ,那么这个数就是32.
  • 如果是收缩操作,那么ht[1]的大小为第一个大于等于 ht[0].used 并且是 2的n次方的数 例如 ht[0].used=10  找出2的n次方中刚好大于等于10的那个数就行了,2的3次方是8 2的4次方是16 那么这个数就是16

2)将保存在ht[0]中的所有键值对rehash到ht[1]上面。 3)当ht[0]包含的所有键值对都迁移到了ht[1]之后(迁移的意思是从ht[0]移到ht[1]).这个时候ht[0]已经是一个空表了,释放掉ht[0],然后将ht[1]设置为ht[0],并在ht[1]新创建一个空白哈希表,为下一次rehash做准备

4哈希表的扩展与收缩


什么时候会自动对哈希表执行扩展操作呢 ?

  1. 服务器目前没有执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于1.
  2. 服务器正在执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于5. 其中哈希表负载因子 load_factor = ht[0].used / ht[0]size 因为BGSAVE命令或者BGREWRITEAOF命令过程中,Redis需要创建当前服务器进程的子进程,而大多数操作系统采用写时复制(copy-on-write)技术来优化子进程的使用效率。所以提供了复杂因子,从而尽可能避免在子进程存在期间就行哈希表的扩展操作。

当哈希表的负载因子小于0.1 会自动开始对哈希表的收缩操作

5渐进式rehash


为了避免rehash对服务器性能造成影响,服务器不是一次性将ht[0]里面所有键值对rehash到ht[1],而是分多次、渐进式的将ht[0]里面的键值对慢慢的rehash到ht[1]. 渐进式rehash步骤:

  1. 为ht[1]分配空间,让字典同时持有ht[0]和ht[1]两个哈希表
  2. 在自动中维持一个索引计数器变量 rehashidx,并将它的值设置为0,表示rehash工作正式开始。
  3. 在rehash期间,每次对字典执行 增删改查 时候,程序除了这些操作以外,还会顺带将ht[0]哈希表再rehashidx索引上的所有键值对rehash到ht[1],当rehash工作完成之后,程序将rehashidx属性曾加一 做一次增删改查操作,就从索引为rehash的数组去做一次迁移; 相当于吧rehash所需要的计算工作均摊到了对字典的每一次增删改查上面,从而避免了集中式的rehash带来的庞大计算量

渐进式rehash执行期间哈希表的操作


在rehash期间,字典会同时使用ht[0]和ht[1]两个哈希表,所以再rehash期间,字典的 删改查都会在两个哈希表上进行; 但是新增的话只会在ht[1]里面进行;

redis字典是如何进行rehash的? 数据量那么大的情况下怎么保证rehash不会影响性能

redis是利用了渐进式的rehash方式来均摊了rehash这个过程,每一次增删改查都是一个rehash;

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
8月前
|
存储 NoSQL Java
【Redis系列】那有序集合为什么要同时使用字典和跳跃表
面试官问:那有序集合为什么要同时使用字典和跳跃表来实现?我:这个设计主要是考虑了性能因素。1. 如果单纯使用字典,查询的效率很高是O(1),但执行类似ZRANGE、ZRNK时,排序性能低。每次排序需要在内存上对字典进行排序一次,同时消耗了额外的O(n)内存空间
【Redis系列】那有序集合为什么要同时使用字典和跳跃表
|
8月前
|
存储 缓存 NoSQL
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现(字典)(一)
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现(字典)
124 0
|
2月前
|
存储 NoSQL Redis
【赵渝强老师】Redis的存储结构
Redis 默认配置包含 16 个数据库,通过 `databases` 参数设置。每个数据库编号从 0 开始,默认连接 0 号数据库,可通过 `SELECT <dbid>` 切换。Redis 的核心存储结构包括 `dict`、`expires` 等字段,用于处理键值和过期行为。添加键时需指定数据库信息。视频讲解和代码示例详见内容。
|
8月前
|
存储 监控 NoSQL
Redis处理大量数据主要依赖于其内存存储结构、高效的数据结构和算法,以及一系列的优化策略
【5月更文挑战第15天】Redis处理大量数据依赖内存存储、高效数据结构和优化策略。选择合适的数据结构、利用批量操作减少网络开销、控制批量大小、使用Redis Cluster进行分布式存储、优化内存使用及监控调优是关键。通过这些方法,Redis能有效处理大量数据并保持高性能。
101 1
|
3月前
|
存储 NoSQL Redis
redis保存数据的结构-redisobject结构体
`redisObject`结构体是Redis内部数据组织的核心,它通过集成类型标识、引用计数和编码方式等关键信息,实现了数据的高效管理和访问。这种设计允许Redis根据数据的实际需求动态调整存储结构,既保证了内存使用的高效性,也确保了数据操作的灵活性和速度。通过对 `redisObject`的深入了解,可以更好地掌握Redis如何在内存中高效存储和操作数据,进而优化数据库的性能和资源利用。
33 0
|
8月前
|
存储 NoSQL 算法
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现(字典)(二)
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现(字典)
130 0
|
7月前
|
存储 JSON NoSQL
Redis第五弹-HASH结构相关指令和介绍,计数功能Hash-哈希(Redis本来就是键值对结构,哈希,就相当于键值对嵌套了一个键值对)的多种指令Hset key field value-
Redis第五弹-HASH结构相关指令和介绍,计数功能Hash-哈希(Redis本来就是键值对结构,哈希,就相当于键值对嵌套了一个键值对)的多种指令Hset key field value-
|
6月前
|
存储 Java
Redis08命令-Hash类型,也叫散列,其中value是一个无序字典,类似于java的HashMap结构,Hash结构可以将对象中的每个字段独立存储,可以针对每字段做CRUD
Redis08命令-Hash类型,也叫散列,其中value是一个无序字典,类似于java的HashMap结构,Hash结构可以将对象中的每个字段独立存储,可以针对每字段做CRUD
|
7月前
|
存储 NoSQL Redis
redis存储结构
redis存储结构
55 0
|
8月前
|
存储 NoSQL 算法
Redis源码、面试指南(2)内存编码数据结构(下)
Redis源码、面试指南(2)内存编码数据结构
68 4