作者:石臻臻, CSDN博客之星Top5、Kafka Contributor 、nacos Contributor、华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家 、KnowStreaming。
KnowStreaming 是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力不够的同学,可以联系我,当你导师带你参与开源!。
Redis的字典使用哈希表作为底层实现,一个哈希表里面有多个哈希表节点,而每个哈希表节点保存了字典中的一个键值对(key-value)
11.字典的实现
说白了,基本上就是跟Java中的HashMap一样一样的
1.1 哈希表
typedef struct dictht{ //哈希表数组 数组中的每个元素都指向 dict.h/dictEntry结构的指针, //每个dictEntry结构保存着一个键值对 dictEntry **table; //哈希表大小 也就是 table的数组大小 unsigned long size; //哈希表大小掩码,用于计算索引值;它总是等于size-1 unsigned long sizemask; //该哈希表已有节点的数量 unsigned long used; }dictht;
1.2 哈希表节点
typedef struct dictEntry{ //键 void *key; // 值 这个值可以是一个指针,或者一个uint64_t整数,又或者是一个int64_t整数 union{ void *val; unit64_t u64; int64_t s64; } v; // 指向下个哈希表节点 ,行程链表; //这个指针可以将多个哈希值相同的键值对链接在一起,来解决键冲突问题 struct dictEntry *next; }dictEntry;
1.3 字典
typedef struct dict{ //类型特定函数 dictType *type; //私有数据 void *privdata; //哈希表 dictht ht[2]; //rehash 索引 当rehash不在进行时,值为-1 int trehashidx; }dict;
ht属性是一个包含两个项的数组,数组中的每个项都是一个dictht哈希表,一般情况下只是用ht[0]哈希表,ht[1]哈希表只会在对ht[0]进行rehash时使用。trehashidx属性记录了当前rehash的进度。
2解决键冲突
Redis哈希表使用链地址法来解决键冲突的!
3Rehash的步骤
1). 为字典的ht[1]哈希表分配空间,这个哈希表的空间大小取决于要执行的操作,以及ht[0]当前包含的键值对数量(就是 ht[0].used属性值)
- 如果是扩展操作, 那么ht[1]的大小为第一个大于等于 ht[0].used2 并且是 2的n次方的数 例如 ht[0].used=10 那么102=20; 找出2的n次方中刚好大于等于20的那个数就行了,2的4次方是16 2的5次方是32 ,那么这个数就是32.
- 如果是收缩操作,那么ht[1]的大小为第一个大于等于 ht[0].used 并且是 2的n次方的数 例如 ht[0].used=10 找出2的n次方中刚好大于等于10的那个数就行了,2的3次方是8 2的4次方是16 那么这个数就是16
2)将保存在ht[0]中的所有键值对rehash到ht[1]上面。 3)当ht[0]包含的所有键值对都迁移到了ht[1]之后(迁移的意思是从ht[0]移到ht[1]).这个时候ht[0]已经是一个空表了,释放掉ht[0],然后将ht[1]设置为ht[0],并在ht[1]新创建一个空白哈希表,为下一次rehash做准备
4哈希表的扩展与收缩
什么时候会自动对哈希表执行扩展操作呢 ?
- 服务器目前没有执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于1.
- 服务器正在执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于5. 其中哈希表负载因子 load_factor = ht[0].used / ht[0]size 因为BGSAVE命令或者BGREWRITEAOF命令过程中,Redis需要创建当前服务器进程的子进程,而大多数操作系统采用写时复制(copy-on-write)技术来优化子进程的使用效率。所以提供了复杂因子,从而尽可能避免在子进程存在期间就行哈希表的扩展操作。
当哈希表的负载因子小于0.1 会自动开始对哈希表的收缩操作
5渐进式rehash
为了避免rehash对服务器性能造成影响,服务器不是一次性将ht[0]里面所有键值对rehash到ht[1],而是分多次、渐进式的将ht[0]里面的键值对慢慢的rehash到ht[1]. 渐进式rehash步骤:
- 为ht[1]分配空间,让字典同时持有ht[0]和ht[1]两个哈希表
- 在自动中维持一个索引计数器变量 rehashidx,并将它的值设置为0,表示rehash工作正式开始。
- 在rehash期间,每次对字典执行 增删改查 时候,程序除了这些操作以外,还会顺带将ht[0]哈希表再rehashidx索引上的所有键值对rehash到ht[1],当rehash工作完成之后,程序将rehashidx属性曾加一 做一次增删改查操作,就从索引为rehash的数组去做一次迁移; 相当于吧rehash所需要的计算工作均摊到了对字典的每一次增删改查上面,从而避免了集中式的rehash带来的庞大计算量
渐进式rehash执行期间哈希表的操作
在rehash期间,字典会同时使用ht[0]和ht[1]两个哈希表,所以再rehash期间,字典的 删改查都会在两个哈希表上进行; 但是新增的话只会在ht[1]里面进行;
redis字典是如何进行rehash的? 数据量那么大的情况下怎么保证rehash不会影响性能
redis是利用了渐进式的rehash方式来均摊了rehash这个过程,每一次增删改查都是一个rehash;