Redis

简介: Redis

Redis 快的原因


  1. 1.基于内存实现

  2. 2.高效的数据结构 : 简单动态字符串, 双端链表,压缩列表,字典,跳跃表

  3. 3.合理的数据编码

  4. 4.合适的线程模型 : I/O多路复用, 避免上下文切换,单线程模型


一. Redis是基于内存的数据库


Redis相对于磁盘数据库来说,省去了将数据I/O进内存的一个过程


二. 高效的数据结构


Redis有多种数据类型,每种数据类型的底层由一种或多种数据结构来支持。

20201023090950977.png

1. 简单动态字符串SDS

20201023091132560.png

在C语言中字符串的结尾以\0为结尾代表结束,如需获取字符串的全部信息就需要遍历。


Redis中用一个len字段记录当前字符串的长度,获取长度直接获取len。时间为O(1)


内存重新分配


C语言设计修改字符串会重新分配内存,频繁修该,内存分配就会频繁。内存分配会消耗性能。

在Redis 中设计到字符串频繁修改操作,就会采取两种优化策略: 空间预分配, 惰性空间释放。


(1)空间预分配 :


当字符串进行阔容得时候,除了分配锁必须的空间外,还会多分配一些未使用的空间。动态字符串修改之后,如果len长度大于1M, 就会额外分配与len相同长度的未使用空间。如果修改后长度大于1M, 将分配1M的使用空间。


(2)惰性空间释放 :


当动态字符串缩短的时候,并不会回收多余的内存空间,而是使用free字段将多出来的空间记录下来,如果后续有变更操作,就直接使用free中记录的空间,减少实际内存的分配改动。实际相当于一个伪删除


二进制安全


按照动态字符串存储的SDS的len变量直接进行读取,多出来的标志位字符是不会被读取的


2. 双端列表


2020102310101918.png

Redis实现了一个双端列表的结构。


(1)前后节点


链表里每个节点都带有两个指针,prev和next,prev指向前节点,next指向后节点,时间复杂度O(1)可以前向获取和后向获取。


(2)头尾节点


有了头尾几点,对双端节点的处理时间复杂度可以降至O(1),可以在队前加入并且还可以向后端进行操作。


(3)链表长度


长度可以通过世界获取储存的变量len, 时间复杂度降低至O(1)


3. 压缩列表

20201023101804589.png

当存储下数据的时候,不使用双端列表和额外的空间存储信息。用一个线性列表进行存储。压缩表的内存是连续分配的,遍历的速度非常快。在列表的头位置保存了

占用字节,偏移量(列表的长度), 节点的数量, 节点内容, 特殊标记符为结尾。

它是经过特殊编码,专门为了提升内存使用效率设计的。所有的操作都是通过指针与解码出来的偏移量进行的。


4. 字典


Redis 是 K-V型数据库,键值对是存在字典中的。


添加, 获取,删除都是O(1) 时间复杂度。


4. 跳表

20201023102423798.png

Redis中的跳表在链表的基础上增加了索引,使得查询效率提升。查询的时间复杂度为O(logN)。在头节点中存储相关信息。


三. 合理的数据编码


对于每一种数据类型来说,底层的支持可能是多种数据结构,什么时候使用哪种数据结构,这就涉及到了编码转化的问题。


那我们就来看看,不同的数据类型是如何进行编码转化的:


String:存储数字的话,采用int类型的编码,如果是非数字的话,采用 raw 编码;


List:字符串长度及元素个数小于一定范围使用 ziplist 编码,任意条件不满足,则转化为 linkedlist 编码;


Hash:hash 对象保存的键值对内的键和值字符串长度小于一定值及键值对;


Set:保存元素为整数及元素个数小于一定范围使用 intset 编码,任意条件不满足,则使用 hashtable 编码;


Zset:zset 对象中保存的元素个数小于及成员长度小于一定值使用 ziplist 编码,任意条件不满足,则使用 skiplist 编码。


四. 线程模型

20201023102700100.png

(1)I/O多路复用


  • I/O: 网络I/O

  • 多路:多个TCP连接

  • 复用:公用一个线程或进程


生产环境中的使用,通常是多个客户端连接 Redis,然后各自发送命令至 Redis 服务器,最后服务端处理这些请求返回结果。


应对大量的请求,Redis 中使用 I/O 多路复用程序同时监听多个套接字,并将这些事件推送到一个队列里,然后逐个被执行。最终将结果返回给客户端。


(2)使用单线程,减少上下文切换


不使用多线程,省去了上下文切换的过程。


(3)单线程

20201023103130752.png

Redis使用Reactor单线程模型。


总结


基于内存实现


数据都存储在内存里,减少了一些不必要的 I/O 操作,操作速率很快。


高效的数据结构


底层多种数据结构支持不同的数据类型,支持 Redis 存储不同的数据;


不同数据结构的设计,使得数据存储时间复杂度降到最低。


合理的数据编码


根据字符串的长度及元素的个数适配不同的编码格式。


合适的线程模型


I/O 多路复用模型同时监听客户端连接;


单线程在执行过程中不需要进行上下文切换,减少了耗时。




相关文章
|
11天前
|
数据采集 人工智能 安全
|
6天前
|
机器学习/深度学习 人工智能 前端开发
构建AI智能体:七十、小树成林,聚沙成塔:随机森林与大模型的协同进化
随机森林是一种基于决策树的集成学习算法,通过构建多棵决策树并结合它们的预测结果来提高准确性和稳定性。其核心思想包括两个随机性:Bootstrap采样(每棵树使用不同的训练子集)和特征随机选择(每棵树分裂时只考虑部分特征)。这种方法能有效处理大规模高维数据,避免过拟合,并评估特征重要性。随机森林的超参数如树的数量、最大深度等可通过网格搜索优化。该算法兼具强大预测能力和工程化优势,是机器学习中的常用基础模型。
330 164
|
5天前
|
机器学习/深度学习 自然语言处理 机器人
阿里云百炼大模型赋能|打造企业级电话智能体与智能呼叫中心完整方案
畅信达基于阿里云百炼大模型推出MVB2000V5智能呼叫中心方案,融合LLM与MRCP+WebSocket技术,实现语音识别率超95%、低延迟交互。通过电话智能体与座席助手协同,自动化处理80%咨询,降本增效显著,适配金融、电商、医疗等多行业场景。
331 155
|
6天前
|
编解码 人工智能 自然语言处理
⚽阿里云百炼通义万相 2.6 视频生成玩法手册
通义万相Wan 2.6是全球首个支持角色扮演的AI视频生成模型,可基于参考视频形象与音色生成多角色合拍、多镜头叙事的15秒长视频,实现声画同步、智能分镜,适用于影视创作、营销展示等场景。
407 4
|
14天前
|
SQL 自然语言处理 调度
Agent Skills 的一次工程实践
**本文采用 Agent Skills 实现整体智能体**,开发框架采用 AgentScope,模型使用 **qwen3-max**。Agent Skills 是 Anthropic 新推出的一种有别于mcp server的一种开发方式,用于为 AI **引入可共享的专业技能**。经验封装到**可发现、可复用的能力单元**中,每个技能以文件夹形式存在,包含特定任务的指导性说明(SKILL.md 文件)、脚本代码和资源等 。大模型可以根据需要动态加载这些技能,从而扩展自身的功能。目前不少国内外的一些框架也开始支持此种的开发方式,详细介绍如下。
940 7