[Redis 系列]redis 学习 17,redis 存储结构原理 1

简介: [Redis 系列]redis 学习 17,redis 存储结构原理 1

关于 redis 相信大家都不陌生了,之前有从 0 -1 分享过 redis 的基本使用方式,用起来倒是都没有啥问题了,不过还是那句话,会应用之后,我们必须要究其原理,知其然知其所以然

今天我们来分享一下关于 redis 的存储结构的原理

redis 的存储结构的原理

我们都知道 redis 是一个 K-V 内存数据库,类似于 memcache ,那么一般存储这种 K-V 键值对的数据结构是什么呢?

红黑树 , 那么我们对于红黑树的增删改查的时间复杂度是 O(logN),对于红黑树而言,只要内存足够,那么这个 N 是可以无限大的

这对于 redis 来说是没有办法满足 redis 的需求,那么我们是否可以将复杂度降低到 O(1) 呢,感兴趣的,我们可以来探索一下?

hash 表

能满足 O(1) 时间复杂度的数据结构有啥呢?我们是不是可以想到 hash 表

具体 hash 表是怎样的一种结构,前面有文章已经分享过一些,redis 基础性的数据结构可以查看历史文章:【Redis 系列】redis 学习四,set 集合,hash 哈希,zset 有序集合初步

redis 的 key 支持哪些类型?

redis 支持的 key 有:

  • long
  • double
  • int
  • string - 可见的字符串和二进制字符串,key 都是 string 类型

实际上最终到 redis 处理的时候,上述类型,都是对应按照 sring 类型进行存储的

这个 key 是有规律的 key,并且是强随机性的

redis 的 value 支持哪些类型?

  • string
  • list
  • set
  • zset
  • hash
  • Geospatial 地理位置
  • Hyperloglog 基数统计
  • Bitmap 位图场景

我们知道 O(1) 的索引时间复杂度数组就是一个很好的例子,我们访问数组元素的时候,直接通过下标访问即可

那么对应 hash 表,其实就是 数组 + hash 函数 来进行处理的,数组的下标索引就是 hash 函数 对 key(字符串) 进行 hash 算法计算出来的一个整数

例如这样

通过 hash 函数计算出来的整数是一个 64 位 的整型

hash 冲突

使用上述 hash 表的话,肯定会出现 hash 冲突,hash 冲突是什么样的效果呢?

就向上面的对 key (是一个各种组合的字符串),进行 hash 计算之后,得到一个整型的值,这个值是 64 位的整型

这也就意味着, key 的字符串组合是无限的,但是 64 整型的大小是固定的,总有有机会字符串计算出来的整数是会重复的,这个时候就出现了 hash 冲突

咱们可以举一个类型的形象例子:

假如说有 3 个盒子,4 个苹果,苹果要装在盒子里面,那么至少有一个抽屉是会放 2 个苹果,图下图所示,那么放 2 个苹果的这个抽屉就出现了 hash 冲突,就需要解决

例如放到我们的 hash 表中,数组大小我们设定了长度为 3,那么所有的整数我们都要对 3 取余,然后就结果对号入座

解决 hash 冲突

根据上述情况,出现了 hash 冲突,我们需要如何处理呢,如何才能解决 hash 冲突?

解决冲突的方式:

  • 使用链表,也就是链地址法 , 数组 + 链表的 方式

将出现冲突的元素,插入到以原有冲突元素作为链表头的链表中,使用头插法

一般是使用头插法这是遵循缓存淘汰算法的逻辑原理 LRU

数据库也是使用的头插法,表示新插入的数据,是最近就要使用的

  • 再使用一个 hash 函数来进行计算,得出另一个值,这是 再 hash 法
  • 再加一个数组来存放冲突的数据(这种方式不太好)

原有数组的每一个坑占一个放一个萝卜,如果有冲突出现,那么就把出现冲突的元素放到冲突数组中,并记下他所在冲突数组的索引位置,这个比较麻烦,不可持续

扩容和缩容

那么当咱们数据量比较大的时候,发生 hash 冲突的情况就会比较多,若大部分时间都是去解决冲突了,那么非常低效的,因此需要扩容

扩容的原则又是如何扩容的呢?

扩容的时候是,当持久化的数据量大于数组长度的时候,就会进行翻倍的扩容,例如上述 数组长度为 3 ,当我们有 4 个 或者 5 个数据的时候,数组的长度会扩到 6,12, 24 … 这样的来进行翻倍扩容

那么 缩容的时候,是不是也是要进行翻倍缩容的?

我们可以来看看效果,如果是翻倍缩容的话

如果是翻倍缩容的话,就会出现这么一个情况,原有数组长度为 4,如果数据变成 5 个,就会翻倍扩容数组长度为 8,如果数据又变回 4 个,那么数组长度又会翻倍缩容到长度为 4

就会出现上述的这类情况,可能会存在一会扩容,一会缩容,这是非常消耗资源和性能和,因此定了一个数据是 当数据量小于数组长度的 10% 的时候,会进行缩容

本次暂且分享这么多,下一部分分享具体的 hash 表在 redis 中的数据结构,和具体的实现方式

今天就到这里,学习所得,若有偏差,还请斧正

欢迎点赞,关注,收藏

朋友们,你的支持和鼓励,是我坚持分享,提高质量的动力

好了,本次就到这里

技术是开放的,我们的心态,更应是开放的。拥抱变化,向阳而生,努力向前行。

我是小魔童哪吒,欢迎点赞关注收藏,下次见~

相关文章
|
存储 缓存 NoSQL
Redis 服务器全方位介绍:从入门到核心原理
Redis是一款高性能内存键值数据库,支持字符串、哈希、列表等多种数据结构,广泛用于缓存、会话存储、排行榜及消息队列。其单线程事件循环架构保障高并发与低延迟,结合RDB和AOF持久化机制兼顾性能与数据安全。通过主从复制、哨兵及集群模式实现高可用与横向扩展,适用于现代应用的多样化场景。合理配置与优化可显著提升系统性能与稳定性。
528 0
|
3月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
540 5
|
4月前
|
存储 缓存 监控
Redis分区的核心原理与应用实践
Redis分区通过将数据分散存储于多个节点,提升系统处理高并发与大规模数据的能力。本文详解分区原理、策略及应用实践,涵盖哈希、范围、一致性哈希等分片方式,分析其适用场景与性能优势,并探讨电商秒杀、物联网等典型用例,为构建高性能、可扩展的Redis集群提供参考。
229 0
|
9月前
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
11月前
|
消息中间件 缓存 NoSQL
Redis原理—5.性能和使用总结
本文详细探讨了Redis的阻塞原因、性能优化、缓存相关问题及数据库与缓存的一致性问题。同时还列举了不同缓存操作方案下的并发情况,帮助读者理解并选择合适的缓存管理策略。最终得出结论,在实际应用中应尽量采用“先更新数据库再删除缓存”的方案,并结合异步重试机制来保证数据的一致性和系统的高性能。
Redis原理—5.性能和使用总结
|
10月前
|
存储 NoSQL 算法
Redis分片集群中数据是怎么存储和读取的 ?
Redis集群采用的算法是哈希槽分区算法。Redis集群中有16384个哈希槽(槽的范围是 0 -16383,哈希槽),将不同的哈希槽分布在不同的Redis节点上面进行管理,也就是说每个Redis节点只负责一部分的哈希槽。在对数据进行操作的时候,集群会对使用CRC16算法对key进行计算并对16384取模(slot = CRC16(key)%16383),得到的结果就是 Key-Value 所放入的槽,通过这个值,去找到对应的槽所对应的Redis节点,然后直接到这个对应的节点上进行存取操作
|
11月前
|
存储 缓存 NoSQL
Redis原理—4.核心原理摘要
Redis 是一个基于内存的高性能NoSQL数据库,支持分布式集群和持久化。其网络通信模型采用多路复用监听与文件事件机制,通过单线程串行化处理大量并发请求,确保高效运行。本文主要简单介绍了 Redis 的核心特性。
|
11月前
|
缓存 NoSQL Redis
Redis原理—3.复制、哨兵和集群
详细介绍了Redis的复制原理、哨兵原理和集群原理。
|
11月前
|
运维 NoSQL 算法
【📕分布式锁通关指南 04】redis分布式锁的细节问题以及RedLock算法原理
本文深入探讨了基于Redis实现分布式锁时遇到的细节问题及解决方案。首先,针对锁续期问题,提出了通过独立服务、获取锁进程自己续期和异步线程三种方式,并详细介绍了如何利用Lua脚本和守护线程实现自动续期。接着,解决了锁阻塞问题,引入了带超时时间的`tryLock`机制,确保在高并发场景下不会无限等待锁。最后,作为知识扩展,讲解了RedLock算法原理及其在实际业务中的局限性。文章强调,在并发量不高的场景中手写分布式锁可行,但推荐使用更成熟的Redisson框架来实现分布式锁,以保证系统的稳定性和可靠性。
657 0
【📕分布式锁通关指南 04】redis分布式锁的细节问题以及RedLock算法原理
|
8月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?