Redis - 原理篇-2

2.2 网络模型-阻塞IO

在《UNIX网络编程》一书中，总结归纳了5种IO模型：

阻塞IO（Blocking IO）

非阻塞IO（Nonblocking IO）

IO多路复用（IO Multiplexing）

信号驱动IO（Signal Driven IO）

异步IO（Asynchronous IO）

应用程序想要去读取数据，他是无法直接去读取磁盘数据的，他需要先到内核里边去等待内核操作硬件拿到数据，这个过程就是1，是需要等待的，等到内核从磁盘上把数据加载出来之后，再把这个数据写给用户的缓存区，这个过程是2，如果是阻塞IO，那么整个过程中，用户从发起读请求开始，一直到读取到数据，都是一个阻塞状态。整体流程如下图：

用户去读取数据时，

会去先发起recvform一个命令，去尝试从内核上加载数据，如果内核没有数据，那么用户就会等待，此时内核会去从硬件上读取数据，内核读取数据之后，会把数据拷贝到用户态，并且返回ok，整个过程，都是阻塞等待的，这就是阻塞IO

总结如下：

顾名思义，阻塞IO就是两个阶段都必须阻塞等待：

阶段一：

用户进程尝试读取数据（比如网卡数据）

此时数据尚未到达，内核需要等待数据

此时用户进程也处于阻塞状态

阶段二：

数据到达并拷贝到内核缓冲区，代表已就绪

将内核数据拷贝到用户缓冲区

拷贝过程中，用户进程依然阻塞等待

拷贝完成，用户进程解除阻塞，处理数据可以看到，阻塞IO模型中，用户进程在两个阶段都是阻塞状态。

2.3 网络模型-非阻塞IO

顾名思义，非阻塞IO的recvfrom操作会立即返回结果而不是阻塞用户进程。

阶段一：

用户进程尝试读取数据（比如网卡数据）

此时数据尚未到达，内核需要等待数据

返回异常给用户进程

用户进程拿到error后，再次尝试读取

循环往复，直到数据就绪

阶段二：

将内核数据拷贝到用户缓冲区

拷贝过程中，用户进程依然阻塞等待

拷贝完成，用户进程解除阻塞，处理数据

可以看到，非阻塞IO模型中，用户进程在第一个阶段是非阻塞，第二个阶段是阻塞状态。虽然是非阻塞，但性能并没有得到提高。而 且忙等机制会导致CPU空转，CPU使用率暴增。

2.4 网络模型-IO多路复用

无论是阻塞IO还是非阻塞IO，用户应用在一阶段都需要调用recvfrom来获取数据，差别在于无数据时的处理方案：

如果调用recvfrom时，恰好没有数据，阻塞IO会使CPU阻塞，非阻塞IO使CPU空转，都不能充分发挥CPU的作用。

如果调用recvfrom时，恰好有数据，则用户进程可以直接进入第二阶段，读取并处理数据

所以怎么看起来以上两种方式性能都不好

而在单线程情况下，只能依次处理IO事件，如果正在处理的IO事件恰好未就绪（数据不可读或不可写），线程就会被阻塞，所有IO事件都必须等待，性能自然会很差。

就比如服务员给顾客点餐，分两步：

顾客思考要吃什么（等待数据就绪）

顾客想好了，开始点餐（读取数据）

要提高效率有几种办法？

方案一：增加更多服务员（多线程）

方案二：不排队，谁想好了吃什么（数据就绪了），服务员就给谁点餐（用户应用就去读取数据）

那么问题来了：用户进程如何知道内核中数据是否就绪呢？

所以接下来就需要详细的来解决多路复用模型是如何知道到底怎么知道内核数据是否就绪的问题了

这个问题的解决依赖于提出的文件描述符。

文件描述符（File Descriptor）：简称FD，是一个从0 开始的无符号整数，用来关联Linux中的一个文件。在Linux中，一切皆文件，例如常规文件、视频、硬件设备等，当然也包括网络套接字（Socket）。

通过FD，我们的网络模型可以利用一个线程监听多个FD，并在某个FD可读、可写时得到通知，从而避免无效的等待，充分利用CPU资源。

阶段一：

用户进程调用select，指定要监听的FD集合

核监听FD对应的多个socket

任意一个或多个socket数据就绪则返回readable

此过程中用户进程阻塞

阶段二：

用户进程找到就绪的socket

依次调用recvfrom读取数据

内核将数据拷贝到用户空间

用户进程处理数据

当用户去读取数据的时候，不再去直接调用recvfrom了，而是调用select的函数，select函数会将需要监听的数据交给内核，由内核去检查这些数据是否就绪了，如果说这个数据就绪了，就会通知应用程序数据就绪，然后来读取数据，再从内核中把数据拷贝给用户态，完成数据处理，如果N多个FD一个都没处理完，此时就进行等待。

用IO复用模式，可以确保去读数据的时候，数据是一定存在的，他的效率比原来的阻塞IO和非阻塞IO性能都要高

O多路复用：是利用单个线程来同时监听多个FD，并在某个FD可读、可写时得到通知，从而避免无效的等待，充分利用CPU资源。不过监听FD的方式、通知的方式又有多种实现，常见的有：

select

poll

epoll

其中select和poll相当于是当被监听的数据准备好之后，他会把你监听的FD整个数据都发给你，你需要到整个FD中去找，哪些是处理好了的，需要通过遍历的方式，所以性能也并不是那么好

就类似于有人想好吃什么，按下了灯泡，服务员灯亮了，但是服务员却不知道是谁准备好点餐了，需要一个一个的询问。

而epoll，则相当于内核准备好了之后，他会把准备好的数据，直接发给你，咱们就省去了遍历的动作。

2.4.1 网络模型-IO多路复用-select方式

select是Linux最早是由的I/O多路复用技术：

简单说，就是我们把需要处理的数据封装成FD，然后在用户态时创建一个fd的集合（这个集合的大小是要监听的那个FD的最大值+1，但是大小整体是有限制的 ），这个集合的长度大小是有限制的，同时在这个集合中，标明出来我们要控制哪些数据，

比如要监听的数据，是1,2,5三个数据，此时会执行select函数，然后将整个fd发给内核态，内核态会去遍历用户态传递过来的数据，如果发现这里边都数据都没有就绪，就休眠，直到有数据准备好时，就会被唤醒，唤醒之后，再次遍历一遍，看看谁准备好了，然后再将处理掉没有准备好的数据，最后再将这个FD集合写回到用户态中去，此时用户态就知道了，奥，有人准备好了，但是对于用户态而言，并不知道谁处理好了，所以用户态也需要去进行遍历，然后找到对应准备好数据的节点，再去发起读请求，我们会发现，这种模式下他虽然比阻塞IO和非阻塞IO好，但是依然有些麻烦的事情， 比如说频繁的传递fd集合，频繁的去遍历FD等问题

seletc模式存在的问题：

1. 需要将整个fd_set 用户空间拷贝到内核空间，select:结束还要再次拷贝回用户空间
2. select无法得知具体是哪个fd就绪，需要遍历整个fd_set
3. fd set监听的fd数量不能超过1024

2.4.2 网络模型-IO多路复用模型-poll模式

poll模式对select模式做了简单改进，但性能提升不明显，部分关键代码如下：

IO流程：

创建pollfd数组，向其中添加关注的fd信息，数组大小自定义

调用poll函数，将pollfd数组拷贝到内核空间，转链表存储，无上限

内核遍历fd，判断是否就绪

数据就绪或超时后，拷贝pollfd数组到用户空间，返回就绪fd数量n

用户进程判断n是否大于0,大于0则遍历pollfd数组，找到就绪的fd

与select对比：

select模式中的fd_set大小固定为1024，而pollfd在内核中采用链表，理论上无上限

监听FD越多，每次遍历消耗时间也越久，性能反而会下降

2.4.3 网络模型-IO多路复用模型-epoll函数

epoll模式是对select和poll的改进，它提供了三个函数：

epoll_ctl中的epfd就是表明要将监听的fd添加到那个一个eventepoll中

第一个是：eventpoll的函数，他内部包含两个东西

一个是：

1、红黑树–> 记录的事要监听的FD

2、一个是链表->一个链表，记录的是就绪的FD

紧接着调用epoll_ctl操作，将要监听的数据添加到红黑树上去，并且给每个fd设置一个监听函数，这个函数会在fd数据就绪时触发，就是准备好了，现在就把fd把数据添加到list_head中去

3、调用epoll_wait函数

就去等待，在用户态创建一个空的events数组，当就绪之后，我们的回调函数会把数据添加到list_head中去，当调用这个函数的时候，会去检查list_head，当然这个过程需要参考配置的等待时间，可以等一定时间，也可以一直等， 如果在此过程中，检查到了list_head中有数据会将数据添加到链表中，此时将数据放入到events数组中，并且返回对应的操作的数量，用户态的此时收到响应后，从events中拿到对应准

小总结：

select模式存在的三个问题：

能监听的FD最大不超过1024

每次select都需要把所有要监听的FD都拷贝到内核空间

每次都要遍历所有FD来判断就绪状态

poll模式的问题：

poll利用链表解决了select中监听FD上限的问题，但依然要遍历所有FD，如果监听较多，性能会下降

epoll模式中如何解决这些问题的？

基于epoll实例中的红黑树保存要监听的FD，理论上无上限，而且增删改查效率都非常高

每个FD只需要执行一次epoll_ctl添加到红黑树，以后每次epol_wait无需传递任何参数，无需重复拷贝FD到内核空间

利用ep_poll_callback机制来监听FD状态，无需遍历所有FD，因此性能不会随监听的FD数量增多而下降

1、网络模型-epoll中的ET和LT

当FD有数据可读时，我们调用epoll_wait（或者select、poll）可以得到通知。但是事件通知的模式有两种：

LevelTriggered：简称LT，也叫做水平触发。只要某个FD中有数据可读，每次调用epoll_wait都会得到通知。

EdgeTriggered：简称ET，也叫做边沿触发。只有在某个FD有状态变化时，调用epoll_wait才会被通知。

举个栗子：

假设一个客户端socket对应的FD已经注册到了epoll实例中

客户端socket发送了2kb的数据

服务端调用epoll_wait，得到通知说FD就绪

服务端从FD读取了1kb数据回到步骤3（再次调用epoll_wait，形成循环）

结论

如果我们采用LT模式，因为FD中仍有1kb数据，则第⑤步依然会返回结果，并且得到通知

如果我们采用ET模式，因为第③步已经消费了FD可读事件，第⑤步FD状态没有变化，因此epoll_wait不会返回，数据无法读取，客户端响应超时。

2、网络模型-基于epoll的服务器端流程

我们来梳理一下这张图

服务器启动以后，服务端会去调用epoll_create，创建一个epoll实例，epoll实例中包含两个数据

1、红黑树（为空）：rb_root 用来去记录需要被监听的FD

2、链表（为空）：list_head，用来存放已经就绪的FD

创建好了之后，会去调用epoll_ctl函数，此函数会会将需要监听的数据添加到rb_root中去，并且对当前这些存在于红黑树的节点设置回调函数，当这些被监听的数据一旦准备完成，就会被调用，而调用的结果就是将红黑树的fd添加到list_head中去(但是此时并没有完成)

3、当第二步完成后，就会调用epoll_wait函数，这个函数会去校验是否有数据准备完毕（因为数据一旦准备就绪，就会被回调函数添加到list_head中），在等待了一段时间后(可以进行配置)，如果等够了超时时间，则返回没有数据，如果有，则进一步判断当前是什么事件，如果是建立连接时间，则调用accept() 接受客户端socket，拿到建立连接的socket，然后建立起来连接，如果是其他事件，则把数据进行写出

其中当获取到客户端的socket之后还要将对应的客户端soket的fd注册到rb_root中，去查看是否有客户端发送请求

2.4.4 IO多路复用-三种方式之间的对比

补充说明：

epoll的实现相对于select和poll而言，更加高效，在高并发请求下，epoll可以支持上万个连接的读写操作。

select采用轮询的方式查找有数据可读写的socket，效率比较低，并且随着监控的文件描述符数量的增加，其效率会快速下降。

poll改进了select的问题，用链表来存储文件描述符，但是它还是采用了轮询的方式，所以效率依然不高，但是相对于select而言，poll的可扩展性更好一些。

epoll是基于事件通知的方式，因此可以避免无效遍历，从而提高了效率。

在事件触发模式方面，epoll支持边缘触发和水平触发，灵活性更高，能够满足更多场景的需求。

在使用难度方面，select最简单易用，poll稍微复杂一点，而epoll则需要进行更加复杂的操作。

2.5 网络模型-信号驱动

信号驱动IO是与内核建立SIGIO的信号关联并设置回调，当内核有FD就绪时，会发出SIGIO信号通知用户，期间用户应用可以执行其它业务，无需阻塞等待。

段一：

• 用户进程调用sigaction，注册信号处理函数
• 内核返回成功，开始监听FD
• 用户进程不阻塞等待，可以执行其它业务
• 当内核数据就绪后，回调用户进程的SIGIO处理函数

阶段二：

• 收到SIGIO回调信号
• 调用recvfrom，读取
• 内核将数据拷贝到用户空间
• 用户进程处理数据

有大量IO操作时，信号较多，SIGIO处理函数不能及时处理可能导致信号队列溢出，而且内核空间与用户空间的频繁信号交互性能也较低。

1、异步IO

这种方式，不仅仅是用户态在试图读取数据后，不阻塞，而且当内核的数据准备完成后，也不会阻塞

他会由内核将所有数据处理完成后，由内核将数据写入到用户态中，然后才算完成，所以性能极高，不会有任何阻塞，全部都由内核完成，可以看到，异步IO模型中，用户进程在两个阶段都是非阻塞状态。

IO操作是同步还是异步，关键看数据在内核空间与用户空间的拷贝过程（数据读写的IO操作），也就是阶段二是同步还是异步

2.6 网络模型-Redis是单线程的吗？为什么使用单线程

Redis到底是单线程还是多线程？

如果仅仅聊Redis的核心业务部分（命令处理），答案是单线程

如果是聊整个Redis，那么答案就是多线程

在Redis版本迭代过程中，在两个重要的时间节点上引入了多线程的支持：

Redis v4.0：引入多线程异步处理一些耗时较久的任务，例如异步删除命令unlink

Redis v6.0 ：在核心网络模型中引入多线程，进一步提高对多核cpu的利用率

因此，对于Redis的核心网络模型，在Redis 6.0之前确实都是单线程。是利用epoll（Linux系统）这样的IO多路复用技术在事件循环中不断处理客户端情况。为什么Redis要选择单线程？

1. 抛开持久化不谈，Redis是纯内存操作，执行速度非常快，它的性能瓶颈是网络延迟而不是执行速度，因此多线程并不会带来巨大的性能提升。
2. 多线程会导致过多的上下文切换，带来不必要的开销
3. 引入多线程会面临线程安全问题，必然要引入线程锁这样的安全手段，实现复杂度增高，而且性能也会大打折扣

2.7 Redis的单线程模型-Redis单线程和多线程网络模型变更

Redis通过IO多路复用来提高网络性能，并且支持各种不同的多路复用实现，并且将这些实现进行封装， 提供了统一的高性能事件库API库 AE：

看一下Redis单线程网络模型的整个流程

现在main函数中进行函数的初始化

createSocketAcceptHandler

他做了两件事情，第一个就是监听我们的socket，第二就是给我们Socket上发生的事件做一个处理器，以前我们直接注册上去就完了在真正发生事件的时候再去做处理，现在是提前准备好一个Socket事件发生的时候做处理的准备。下面这张图就是具体的处理Socket事件的处理方法

接受到客户端的请求，并且关联客户端的fd，监听客户端socket的fd，connSetReadHandler(conn, readQueryFromClient)这个方法就是用来监听客户端的socket的读事件（所以第二参数就是读处理器），其中参数conn，已经赋值给了fd，所以实际传递的还是fd

redis单线程网络模型的整个流程：

创建serverSocket，并且会创建一个对应的fd，这个fd就会注册到我们的Eventloop上，同时我们还给serverSocket绑定一个处理器，tcpAccepthandler,专门处理serverSocket上的可读事件，然后就是去调用beforesleep,调用ApiPoll等待就绪，如果当serverSocket就绪之后就会调用tcpAccepthandler,这个时候就表明有客户端连上来了，这个时候又去执行这个循环事件，但是这个时候的读事件可能就不止一个了（有可能是客户端的），于是就给客户端绑定一个readQueryFromClient来处理客户端的读命令，我们知道在原来的epoll中这个时候就是读的是客户端的数据，那么在redis中是怎么操作的呢，下图就是readQueryFromClient的部分源码

即readQueryFromClient将每一个客户端的请求封装成为一个client，每一个client都一个querybuf，接下来读出请求中的命令放到querybuf中，然后调用processInputBuffer解析缓冲区的字符变成redis命令放到agv的数组当中，然后读出argv中的第0字符，去找到他是属于什么命令，执行，在返回结果的时候他会先尝试向c-buf中写入数据，如果c-buf写不下了，那么他就会写道c-reply这个链表当中写，理论是容量无上限，然后将客户端添加到server.client_pending_write这个队列（是服务器已经定义好的队列），等待被写出，到这里readQueryFromClient函数就结束了，但是这个时候结果还没写出，还在队列当中。这个是时候beforesleep就开始发挥作用了以下是beforesleep的部分源码

这里就是给每一个客户端都绑定了一个写处理器（sendReplyToClient）

当我们的客户端想要去连接我们服务器，会去先到IO多路复用模型去进行排队，会有一个连接应答处理器，他会去接受读请求，然后又把读请求注册到具体模型中去，此时这些建立起来的连接，如果是客户端请求处理器去进行执行命令时，他会去把数据读取出来，然后把数据放入到client中， clinet去解析当前的命令转化为redis认识的命令，接下来就开始处理这些命令，从redis中的command中找到这些命令，然后就真正的去操作对应的数据了，当数据操作完成后，会去找到命令回复处理器，再由他将数据写出。

总结

Redis是一个基于内存的数据存储系统，它使用单线程网络模型来处理客户端请求。下面是Redis单线程网络模型的执行流程：

监听端口：Redis服务器开始监听指定的端口，等待客户端连接。

接收客户端连接：当有客户端请求连接到Redis服务器时，服务器会接受连接请求，并创建一个客户端套接字，用于与客户端通信。

接收命令：一旦客户端与服务器建立连接，客户端可以发送命令请求到服务器。Redis服务器通过套接字接收到客户端发送的命令。

命令解析：服务器会对接收到的命令进行解析，以确定客户端请求的具体操作。

执行命令：根据解析的结果，服务器会执行相应的命令操作。由于Redis使用单线程模型，每个命令都会按顺序依次执行，不会并发执行。

数据读写：在执行命令期间，如果需要读取或修改数据，服务器会从内存中读取数据或将修改后的数据写回内存。

命令回复：执行完命令后，服务器会将执行结果封装为响应，并通过套接字发送回客户端。

关闭连接：命令执行完成后，服务器会关闭与客户端的连接，等待下一个连接请求。

Redis单线程网络模型是指Redis服务器使用单个线程来处理所有客户端请求和命令操作。它的执行流程包括监听端口、接收客户端连接、接收命令、命令解析、执行命令、数据读写、命令回复和关闭连接。由于单线程的特性，Redis在处理请求时是顺序执行的，不会并发执行命令。这种模型简化了并发控制和线程同步的复杂性，但也限制了Redis服务器的处理能力。然而，通过高效利用CPU和异步IO操作，Redis仍然能够提供出色的性能和响应速度。

三、Redis通信协议-RESP协议

Redis是一个CS架构的软件，通信一般分两步（不包括pipeline和PubSub）：

客户端（client）向服务端（server）发送一条命令

服务端解析并执行命令，返回响应结果给客户端

因此客户端发送命令的格式、服务端响应结果的格式必须有一个规范，这个规范就是通信协议。

而在Redis中采用的是RESP（Redis Serialization Protocol）协议：

Redis 1.2版本引入了RESP协议

Redis 2.0版本中成为与Redis服务端通信的标准，称为RESP2

Redis 6.0版本中，从RESP2升级到了RESP3协议，增加了更多数据类型并且支持6.0的新特性–客户端缓存

但目前，默认使用的依然是RESP2协议，也是我们要学习的协议版本（以下简称RESP）。

在RESP中，通过首字节的字符来区分不同数据类型，常用的数据类型包括5种：

单行字符串：首字节是 ‘+’ ，后面跟上单行字符串，以CRLF（ "\r\n" ）结尾。例如返回"OK"： "+OK\r\n"

错误（Errors）：首字节是 ‘-’ ，与单行字符串格式一样，只是字符串是异常信息，例如："-Error message\r\n"

数值：首字节是 ‘:’ ，后面跟上数字格式的字符串，以CRLF结尾。例如：":10\r\n"

多行字符串：首字节是 ‘$’ ，表示二进制安全的字符串，最大支持512MB：

如果大小为0，则代表空字符串："$0\r\n\r\n"

如果大小为-1，则代表不存在："$-1\r\n"数组：首字节是 ‘*’， 后面跟上数组元素个数，再跟上元素，元素数据类型不限：

1. 如果大小为-1，则代表不存在："$-1\r\n"
   

1. 数组：首字节是 ‘*’， 后面跟上数组元素个数，再跟上元素，元素数据类型不限：
   

3.1 Redis通信协议-基于Socket自定义Redis的客户端

Redis支持TCP通信，因此我们可以使用Socket来模拟客户端，与Redis服务端建立连接：

public class Main {
    static Socket s;
    static PrintWriter writer;
    static BufferedReader reader;
    public static void main(String[] args) {
        try {
            // 1.建立连接
            String host = "127.0.0.1";
            int port = 6379;
            s = new Socket(host, port);
            // 2.获取输出流、输入流
            writer = new PrintWriter(new OutputStreamWriter(s.getOutputStream(), StandardCharsets.UTF_8));
            reader = new BufferedReader(new InputStreamReader(s.getInputStream(), StandardCharsets.UTF_8));
            // 3.发出请求
            // 3.1.获取授权 auth 123321
            sendRequest("auth", "123456 ");
            Object obj = handleResponse();
            System.out.println("obj = " + obj);
            // 3.2.set name 虎哥
            sendRequest("set", "name", "虎哥");
            // 4.解析响应
            obj = handleResponse();
            System.out.println("obj = " + obj);
            // 3.2.set name 虎哥
            sendRequest("get", "name");
            // 4.解析响应
            obj = handleResponse();
            System.out.println("obj = " + obj);
            // 3.2.set name 虎哥
            sendRequest("mget", "name", "num", "msg");
            // 4.解析响应
            obj = handleResponse();
            System.out.println("obj = " + obj);
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            // 5.释放连接
            try {
                if (reader != null) reader.close();
                if (writer != null) writer.close();
                if (s != null) s.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
    private static Object handleResponse() throws IOException {
        // 读取首字节
        int prefix = reader.read();
        // 判断数据类型标示
        switch (prefix) {
            case '+': // 单行字符串，直接读一行
                return reader.readLine();
            case '-': // 异常，也读一行
                throw new RuntimeException(reader.readLine());
            case ':': // 数字
                return Long.parseLong(reader.readLine());
            case '$': // 多行字符串
                // 先读长度
                int len = Integer.parseInt(reader.readLine());
                if (len == -1) {
                    return null;
                }
                if (len == 0) {
                    return "";
                }
                // 再读数据,读len个字节。我们假设没有特殊字符，所以读一行（简化）
                return reader.readLine();
            case '*':
                return readBulkString();
            default:
                throw new RuntimeException("错误的数据格式！");
        }
    }
    private static Object readBulkString() throws IOException {
        // 获取数组大小
        int len = Integer.parseInt(reader.readLine());
        if (len <= 0) {
            return null;
        }
        // 定义集合，接收多个元素
        List<Object> list = new ArrayList<>(len);
        // 遍历，依次读取每个元素
        for (int i = 0; i < len; i++) {
            list.add(handleResponse());
        }
        return list;
    }
    // set name 虎哥
    private static void sendRequest(String ... args) {
        writer.println("*" + args.length);
        for (String arg : args) {
            writer.println("$" + arg.getBytes(StandardCharsets.UTF_8).length);
            writer.println(arg);
        }
        writer.flush();
    }
}

3.2 总结

RESP（REdis Serialization Protocol）是Redis使用的通信协议，用于在客户端和服务器之间传输数据。RESP协议采用文本协议格式，具有简单、高效和可读性好的特点。下面是RESP协议的一些关键特点和示例：

简单的数据类型：

RESP协议支持以下几种数据类型：简单字符串（Simple Strings）、错误信息（Errors）、整数（Integers）、大块字符串（Bulk Strings）和数组（Arrays）。

每种数据类型都有对应的表示格式和解析规则。

固定格式：

RESP协议的每个数据类型都以特定的前缀字符作为标识符。

简单字符串以"+“作为前缀，例如："+OK\r\n"表示一个简单字符串"OK”。

错误信息以"-"作为前缀，例如："-Error message\r\n"表示一个错误信息"Error message"。

整数以":"作为前缀，例如：":1000\r\n"表示一个整数1000。

大块字符串以"$"作为前缀，后跟字符串的字节数和实际字符串内容，例如："$5\r\nHello\r\n"表示一个长度为5的字符串"Hello"。

数组以"*"作为前缀，后跟数组元素的数量和实际元素内容，例如："*3\r\n$5\r\nHello\r\n$5\r\nWorld\r\n:123\r\n"表示一个包含三个元素的数组，分别是字符串"Hello"、字符串"World"和整数123。

客户端请求和服务器响应：

客户端向服务器发送命令请求时，将命令和参数按RESP协议的格式进行编码，然后通过套接字发送给服务器。

服务器接收到客户端请求后，解析RESP协议的编码格式，执行相应的命令操作，并将执行结果按RESP协议的格式进行编码，发送回客户端。

示例： 下面是一个示例，展示了RESP协议的编码和解码过程：

客户端请求： SET mykey Hello

编码后的请求： *3\r\n$3\r\nSET\r\n$5\r\nmykey\r\n$5\r\nHello\r\n

服务器响应： +OK

编码后的响应： "+OK\r\n"

总结： RESP协议是Redis使用的通信协议，采用简单的文本格式，具有固定的数据类型和编码规则。它支持简单字符串、错误信息、整数、大块字符串和数组等数据类型。客户端和服务器通过RESP协议编码和解码数据，实现命令请求和响应的交互。RESP协议的简单性和可读性使其易于实现和调试，并在Redis中发挥着关键作用。

四、Redis内存策略

Redis中的内存策略主要包含下列四点：

内存清除策略（Eviction Policy）：当Redis内存空间不足时，会根据特定的算法删除一些key来释放内存。其中，常用的算法有LRU（最近最少使用）、LFU（最少使用频率）和随机算法。

内存淘汰策略（Expiration）：在插入或更新key的时候，可以指定key的过期时间（expire）时间。过期后，Redis会自动将key删除，释放内存。

内存回收策略（Memory Reclamation）：在使用Redis时，可能会因为未正确释放内存而导致内存泄漏。Redis针对这种情况实现了自动内存回收机制来防止内存泄漏的问题。

内存优化策略（Memory Optimization）：Redis提供了各种内存优化策略，例如使用压缩（压缩整数值、压缩非常短的字符串）、使用哈希对象来优化内存使用等，以最大限度地减少内存使用。Redis也使用专门的数据结构来实现某些特定的数据类型，例如基数计数器和位数组，这些也是为了优化内存使用而设计的。

这些策略可以帮助Redis在处理大量数据时保持高效并避免内存溢出。但也需要注意，在处理大量数据时，仍然需要监控内存使用情况，并及时优化和调整内存策略。

4.1 过期策略 - key处理

Redis之所以性能强，最主要的原因就是基于内存存储。然而单节点的Redis其内存大小不宜过大，会影响持久化或主从同步性能。

我们可以通过修改配置文件来设置Redis的最大内存：

当内存使用达到上限时，就无法存储更多数据了。为了解决这个问题，Redis提供了一些策略实现内存回收：内存过期策略

可以通过expire命令给Redis的key设置TTL（存活时间）：

可以发现，当key的TTL到期以后，再次访问name返回的是nil，说明这个key已经不存在了，对应的内存也得到释放。从而起到内存回收的目的。

4.1.1 Redis是如何知道一个key是否过期呢？

DB结构体

Redis本身是一个典型的key-value内存存储数据库，因此所有的key、value都保存在之前学习过的Dict结构中。

Redis判断一个key是否过期：不过是在其database结构体中，有两个Dict：一个用来记录key-value；另一个用来记录key-TTL

4.1.2 是不是TTL到期就立即删除了呢？

惰性删除

惰性删除：顾明思议并不是在TTL到期后就立刻删除，而是在访问一个key的时候，检查该key的存活时间，如果已经过期才执行删除。也就是在增删改查的时候才会去检查这个key去判断这个key是否有过期。

周期删除

周期删除：顾明思议是通过一个定时任务，周期性的抽样部分过期的key，然后执行删除。执行周期有两种：

在Redis服务**初始化函数initServer()**中设置定时任务serverCron()，按照server.hz的频率来执行过期key清理，模式为SLOW

在Redis的每个事件循环前会调用beforeSleep()函数，执行过期key清理，模式为FAST

SLOW模式规则：

执行频率受server.hz影响，默认为10，即每秒执行10次，每个执行周期100ms。

执行清理耗时不超过一次执行周期的25%.默认slow模式耗时不超过25ms

逐个遍历db，逐个遍历db中的bucket，抽取20个key判断是否过期

如果没达到时间上限（25ms）并且过期key比例大于10%(就是过期的key和数据库中总的key进行对比)，再进行一次抽样，否则结束

FAST模式规则（过期key比例小于10%不执行 ）：

执行频率受beforeSleep()调用频率影响，但两次FAST模式间隔不低于2ms

执行清理耗时不超过1ms

逐个遍历db，逐个遍历db中的bucket，抽取20个key判断是否过期

如果没达到时间上限（1ms）并且过期key比例大于10%，再进行一次抽样，否则结束

4.1.3 小总结

RedisKey的TT记录方式：

在RedisDB中通过一个Dict记录每个Key的TTL时间

过期key的删除策略：

惰性清理：每次查找key时判断是否过期，如果过期则删除

定期清理：定期抽样部分key，判断是否过期，如果过期则删除。

定期清理的两种模式：

SLOW模式执行频率默认为10，每次不超过25ms

FAST模式执行频率不固定，但两次间隔不低于2ms，每次耗时不超过1ms

4.2 Redis内存回收-内存淘汰策略

内存淘汰：就是当Redis内存使用达到设置的上限时，主动挑选部分key删除以释放更多内存的流程。Redis会在处理客户端命令的方法processCommand()中尝试做内存淘汰

Redis支持8种不同策略来选择要删除的key：

noeviction： 不淘汰任何key，但是内存满时不允许写入新数据，默认就是这种策略。

volatile-ttl： 对设置了TTL的key，比较key的剩余TTL值，TTL越小越先被淘汰

allkeys-random：对全体key ，随机进行淘汰。也就是直接从db->dict中随机挑选

volatile-random：对设置了TTL的key ，随机进行淘汰。也就是从db->expires中随机挑选。

allkeys-lru： 对全体key，基于LRU算法进行淘汰

volatile-lru： 对设置了TTL的key，基于LRU算法进行淘汰

allkeys-lfu： 对全体key，基于LFU算法进行淘汰

volatile-lfu： 对设置了TTL的key，基于LFI算法进行淘汰。其中比较容易混淆的有两个：

LRU（Least Recently Used），最少最近使用。用当前时间减去最后一次访问时间，这个值越大则淘汰优先级越高。

LFU（Least Frequently Used），最少频率使用。会统计每个key的访问频率，值越小淘汰优先级越高。Redis的数据都会被封装为RedisObject结构：

LFU的访问次数之所以叫做逻辑访问次数，是因为并不是每次key被访问都计数，而是通过运算：

1. 生成0~1之间的随机数R

计算 (旧次数 * lfu_log_factor + 1)，记录为P

如果 R < P ，则计数器 + 1，且最大不超过255

访问次数会随时间衰减，距离上一次访问时间每隔 lfu_decay_time 分钟，计数器 -1

当Redis使用的内存超出maxmemory设置时，会根据指定的淘汰策略在键空间中选择要删除的键值对。在删除键值对时，Redis会先检查该键值对是否在使用中（例如，有没有客户端正在访问该键值对），然后再根据具体的淘汰策略选择一个待删除的键值对，并将其从缓存中清除。

最后用一副图来描述当前的这个流程吧

如果把redis全部的key都拿出来进行比较在淘汰这样消耗的时间就会大大的增大所以这里就引入了一个叫eviction——pool（驱逐池）eviction_pool就是抽取的一些样本，将样本放到池子里，再去比较看看谁应该被淘汰，这里有一个maxmemory_samples默认值是5，但是策略不同淘汰的方式不同，这样实现就会比较麻烦所以这里进行了统一，就是按照key其中的某一个值的升序排列，值越大的优先淘汰

例如LFU最少频率使用，使用的越少就应该越早被淘汰，但是是升序排列的，那么就用255-LFU计算，LFU越少255-LFU就越大越应该被淘汰

再说说怎么优化Redis内存

4.3 内存优化策略

Redis中的内存优化策略可以帮助Redis在处理大量数据时最大限度地减少内存使用和提升性能。以下是常见的内存优化策略：

压缩整数值：Redis会根据使用的整数值类型（int16、int32）的不同，动态地压缩整数值的内存占用大小，将8字节的long类型压缩到int类型的4字节，将4字节的int类型压缩到short类型的2字节，以此来减少内存占用。（整数值的大小可以影响内存占用，而Redis可以根据数字类型的不同，动态地压缩整数值的内存占用大小）

压缩短字符串：在Redis内部，长度小于一定值的字符串被称为小字符串，并且对小字符串进行压缩。默认情况下，当字符串的长度小于44个字节时，Redis会动态地把它压缩到一个长度更短的编码中，减少内存占用。（当字符串的长度小于一定值时，Redis会自动把它压缩到一个长度更短的编码中）

使用哈希对象：当需要存储一批内存占用相同的键值对对象时，可以使用哈希对象，把所有的对象都存储在一个哈希表里，以此优化内存使用。（当需要存储一批内存占用相同的键值对对象时，可以使用Redis中的哈希对象，把所有的对象都存储在一个哈希表里，以此优化内存使用。）

使用专用数据结构：Redis使用专用的数据结构来优化某些特定类型的数据，例如在位图中，每个位使用1或0来表示某个事件发生或未发生，以此来大大减少内存占用。Redis还在内存里实现了基数估算器，这个数据结构可以帮助快速估算一批数据的唯一值的数量。

删除大列表的尾部：当某个列表的长度很大，比如数百万条甚至数千万条记录时，删除列表头部的记录（从左边开始）可能会变得很慢。此时，可以采用删除列表尾部（从右边开始）的方式，这样就可以在常数时间内完成删除操作。

接下来我将举几个Redis中的内存优化策略的例子：

压缩整数值： 假设您在Redis中存储了一个计数器，每次增加1。如果您的计数器始终保持在0到255之间，Redis会使用8位编码来存储该整数值，而不是使用更大的数据类型。这样，Redis可以节省内存并提高存储效率。

压缩短字符串： 假设您有一个Redis键存储了一组国家名称的字符串，例如"China"、“USA"和"India”。由于这些字符串很短，Redis可以使用intset数据结构来存储它们，而不是使用较大的数据结构。这样可以显著减少内存使用。

使用哈希对象： 假设您在Redis中存储了一个用户对象，其中包含用户名、电子邮件和年龄等信息。当对象较小且字段数量有限时，Redis可能会使用ziplist来存储该哈希对象，而不是使用更大的散列表。这样可以节省内存并提高性能。

使用专用数据结构： 假设您需要在Redis中存储一组用户ID的布隆过滤器，以快速判断某个用户ID是否存在。布隆过滤器是一种空间效率很高的数据结构，它可以用较少的内存占用来判断元素的存在性。通过使用布隆过滤器，您可以节省大量内存而不必存储所有用户ID的实际值。

删除大列表的尾部： 假设您有一个Redis列表用于存储日志消息，每天会不断向该列表中添加新的消息。为了避免内存占用过高，您可以定期使用LTRIM命令来删除列表的尾部元素，只保留最近的一部分日志。这样可以限制列表的长度，减少内存使用，并确保Redis性能良好。

压缩整数值：Redis会根据使用的整数值类型（int16、int32）的不同，动态地压缩整数值的内存占用大小，将8字节的long类型压缩到int类型的4字节，将4字节的int类型压缩到short类型的2字节，以此来减少内存占用。（整数值的大小可以影响内存占用，而Redis可以根据数字类型的不同，动态地压缩整数值的内存占用大小）

压缩短字符串：在Redis内部，长度小于一定值的字符串被称为小字符串，并且对小字符串进行压缩。默认情况下，当字符串的长度小于44个字节时，Redis会动态地把它压缩到一个长度更短的编码中，减少内存占用。（当字符串的长度小于一定值时，Redis会自动把它压缩到一个长度更短的编码中）

使用哈希对象：当需要存储一批内存占用相同的键值对对象时，可以使用哈希对象，把所有的对象都存储在一个哈希表里，以此优化内存使用。（当需要存储一批内存占用相同的键值对对象时，可以使用Redis中的哈希对象，把所有的对象都存储在一个哈希表里，以此优化内存使用。）

使用专用数据结构：Redis使用专用的数据结构来优化某些特定类型的数据，例如在位图中，每个位使用1或0来表示某个事件发生或未发生，以此来大大减少内存占用。Redis还在内存里实现了基数估算器，这个数据结构可以帮助快速估算一批数据的唯一值的数量。

删除大列表的尾部：当某个列表的长度很大，比如数百万条甚至数千万条记录时，删除列表头部的记录（从左边开始）可能会变得很慢。此时，可以采用删除列表尾部（从右边开始）的方式，这样就可以在常数时间内完成删除操作。

接下来我将举几个Redis中的内存优化策略的例子：

压缩整数值： 假设您在Redis中存储了一个计数器，每次增加1。如果您的计数器始终保持在0到255之间，Redis会使用8位编码来存储该整数值，而不是使用更大的数据类型。这样，Redis可以节省内存并提高存储效率。

压缩短字符串： 假设您有一个Redis键存储了一组国家名称的字符串，例如"China"、“USA"和"India”。由于这些字符串很短，Redis可以使用intset数据结构来存储它们，而不是使用较大的数据结构。这样可以显著减少内存使用。

使用哈希对象： 假设您在Redis中存储了一个用户对象，其中包含用户名、电子邮件和年龄等信息。当对象较小且字段数量有限时，Redis可能会使用ziplist来存储该哈希对象，而不是使用更大的散列表。这样可以节省内存并提高性能。

使用专用数据结构： 假设您需要在Redis中存储一组用户ID的布隆过滤器，以快速判断某个用户ID是否存在。布隆过滤器是一种空间效率很高的数据结构，它可以用较少的内存占用来判断元素的存在性。通过使用布隆过滤器，您可以节省大量内存而不必存储所有用户ID的实际值。

删除大列表的尾部： 假设您有一个Redis列表用于存储日志消息，每天会不断向该列表中添加新的消息。为了避免内存占用过高，您可以定期使用LTRIM命令来删除列表的尾部元素，只保留最近的一部分日志。这样可以限制列表的长度，减少内存使用，并确保Redis性能良好。