Redis学习笔记-AOF日志&重写机制

简介: Redis学习笔记-AOF日志&重写机制

Redis 使用最多的场景是 缓存,若出现服务器宕机的情况,内存中的数据将全部丢失,若恢复数据的时候从后端数据库读取就会给数据库造成很大的压力,并且数据恢复缓慢,所以对于 Redis 来说,实现数据的持久化是非常重要的,而 AOF日志 和 RDB快照是 Redis 实现持久化的两大机制,这篇文章学习一下 AOF 持久化日志。

1.笔记图

2.AOF 日志实现


  • AOF 是一种写后日志,即先执行 Redis 命令,后记录日志。

3.写日志先后顺序的思考

  • Redis 为了避免额外开销,写 AOF 日志的时候不会对命令语法检查
  • 如果先写日志再执行命令可能会记录错误的命令,恢复数据时,可能出错
  • 只有能执行成功的命令,才会被记录到日志中
  • 命令执行完后写日志不会阻塞当前的写操作

4.AOF 日志记录的内容举例说明

#举例
set testkey testvalue

日志记录内容如下:

*3
$3
set
$7
testkey
$9
testvalue

Tips:其中 *3 表示有 3 个部分,$3 表示后面紧跟的键/值3 字节。

5.由 AOF 日志记录引发的潜在风险思考

  • 如果刚执行完,日志没写就宕机,数据就有丢失风险
  • 在日志文件写入磁盘时,磁盘写压力大,会导致写盘慢,后续的操作也无法执行

6.潜在风险对应的三种写回策略

  • Always:同步写回,每个写命令执行完,立马同步地将日志写回磁盘,可以做到基本不丢数据,但它在写命令后有一个慢速的落盘操作,不可避免会影响主线程性能
  • Everysec:每秒写回,每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,每隔一秒把缓冲区中的内容写入磁盘,避免了同步写回的性能开销,但是如果发生宕机,上一秒内未落盘的命令操作仍然会丢失
  • No:操作系统控制的写回,每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘,落盘的时机已经不在 Redis 手中了,只要 AOF 记录没有写回磁盘,一旦宕机对应的数据就丢失了

7.性能问题

  • 文件系统本身对文件大小有限制,无法保存过大的文件
  • 如果文件太大,之后再往里面追加命令记录的话,效率也会变低
  • 如果发生宕机,AOF 中记录的命令要一个个被重新执行,恢复起来缓慢影响业务

8.AOF 重写机制

  • AOF 重写机制就是在重写时根据数据库的现状创建一个新的 AOF 文件,然后对每一个键值对用一条命令记录它的写入
  • AOF 文件是以追加的方式,逐一记录接收到的写命令的,AOF 文件会记录相应的多条命令
  • 重写机制具有 多变一 功能,旧日志文件中的多条命令,在重写后的新日志中变成了一条命令

Tips:举例:对一个列表先后做了 6 次修改操作后,列表的最后状态是[“D”, “C”, “N”],此时,只用 LPUSH u:list “N”, “C”, "D"这一条命令就能实现该数据的恢复,这就节省了五条命令的空间。

9.AOF 重写机制引发的阻塞思考

  • 重写过程是由后台子进程 bgrewriteaof 来完成的,不会阻塞主线程
  • 一个拷贝:每次执行重写时,主线程 fork 出后台的 bgrewriteaof 子进程,bgrewriteaof 子进程就可以在不影响主线程的情况下,逐一把拷贝的数据写成操作,记入重写日志
  • 两处日志:如果有写操作,第一处日志就是指正在使用的 AOF 日志,Redis 会把这个操作写到它的缓冲区,即使宕机了,这个 AOF 日志的操作仍然是齐全的,可以用于恢复第二处日志,就是指新的 AOF 重写日志,这个操作也会被写到重写日志的缓冲区,重写日志也不会丢失最新的操作
相关文章
|
存储 NoSQL 安全
Redis的两种持久化方式---RDB、AOF
通过本文的介绍,我们详细讲解了Redis的两种主要持久化方式:RDB和AOF。每种方式都有其独特的优缺点和适用场景。在实际应用中,可以根据具体需求选择合适的持久化方式,或者同时启用RDB和AOF,以达到最佳效果。希望本文能帮助您更好地理解和应用Redis的持久化机制,构建高效、可靠的数据存储解决方案。
1162 79
|
11月前
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
存储 NoSQL Redis
Redis 持久化揭秘:选择 RDB、AOF 还是混合持久化?
Redis 是一个内存数据库,意味着它主要将数据存储在内存中,从而能够提供极高的性能。然而,作为内存数据库,Redis 默认情况下的数据不会永久保存。为了确保数据在重启或故障后能够恢复,Redis 提供了几种 **持久化机制**。这些机制允许 Redis 将内存中的数据保存到硬盘上,从而实现数据持久化。
820 22
Redis 持久化揭秘:选择 RDB、AOF 还是混合持久化?
|
存储 运维 NoSQL
【赵渝强老师】Redis的慢查询日志
Redis慢查询日志用于记录执行时间超过预设阈值的命令,帮助开发和运维人员定位性能问题。每条慢查询日志包含标识ID、发生时间戳、命令耗时及详细信息。配置参数包括`slowlog-max-len`(默认128)和`slowlog-log-slower-than`(默认10000微秒)。实战中可通过`slowlog get`获取日志、`slowlog len`查看长度、`slowlog reset`重置日志。建议线上环境将`slowlog-max-len`设为1000以上,并根据并发量调整`slowlog-log-slower-than`。需要注意的是,慢查询只记录命令执行时间。
634 5
|
监控 NoSQL 测试技术
【赵渝强老师】Redis的AOF数据持久化
Redis 是内存数据库,提供数据持久化功能,支持 RDB 和 AOF 两种方式。AOF 以日志形式记录每个写操作,支持定期重写以压缩文件。默认情况下,AOF 功能关闭,需在 `redis.conf` 中启用。通过 `info` 命令可监控 AOF 状态。AOF 重写功能可有效控制文件大小,避免性能下降。
423 6
|
10月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
5月前
|
缓存 负载均衡 监控
135_负载均衡:Redis缓存 - 提高缓存命中率的配置与最佳实践
在现代大型语言模型(LLM)部署架构中,缓存系统扮演着至关重要的角色。随着LLM应用规模的不断扩大和用户需求的持续增长,如何构建高效、可靠的缓存架构成为系统性能优化的核心挑战。Redis作为业界领先的内存数据库,因其高性能、丰富的数据结构和灵活的配置选项,已成为LLM部署中首选的缓存解决方案。
|
6月前
|
存储 缓存 NoSQL
Redis专题-实战篇二-商户查询缓存
本文介绍了缓存的基本概念、应用场景及实现方式,涵盖Redis缓存设计、缓存更新策略、缓存穿透问题及其解决方案。重点讲解了缓存空对象与布隆过滤器的使用,并通过代码示例演示了商铺查询的缓存优化实践。
287 1
Redis专题-实战篇二-商户查询缓存
|
10月前
|
缓存 NoSQL Java
Redis+Caffeine构建高性能二级缓存
大家好,我是摘星。今天为大家带来的是Redis+Caffeine构建高性能二级缓存,废话不多说直接开始~
1345 0