Redis学习笔记-AOF日志&重写机制

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: Redis学习笔记-AOF日志&重写机制

Redis 使用最多的场景是 缓存,若出现服务器宕机的情况,内存中的数据将全部丢失,若恢复数据的时候从后端数据库读取就会给数据库造成很大的压力,并且数据恢复缓慢,所以对于 Redis 来说,实现数据的持久化是非常重要的,而 AOF日志 和 RDB快照是 Redis 实现持久化的两大机制,这篇文章学习一下 AOF 持久化日志。

1.笔记图

2.AOF 日志实现


  • AOF 是一种写后日志,即先执行 Redis 命令,后记录日志。

3.写日志先后顺序的思考

  • Redis 为了避免额外开销,写 AOF 日志的时候不会对命令语法检查
  • 如果先写日志再执行命令可能会记录错误的命令,恢复数据时,可能出错
  • 只有能执行成功的命令,才会被记录到日志中
  • 命令执行完后写日志不会阻塞当前的写操作

4.AOF 日志记录的内容举例说明

#举例
set testkey testvalue

日志记录内容如下:

*3
$3
set
$7
testkey
$9
testvalue

Tips:其中 *3 表示有 3 个部分,$3 表示后面紧跟的键/值3 字节。

5.由 AOF 日志记录引发的潜在风险思考

  • 如果刚执行完,日志没写就宕机,数据就有丢失风险
  • 在日志文件写入磁盘时,磁盘写压力大,会导致写盘慢,后续的操作也无法执行

6.潜在风险对应的三种写回策略

  • Always:同步写回,每个写命令执行完,立马同步地将日志写回磁盘,可以做到基本不丢数据,但它在写命令后有一个慢速的落盘操作,不可避免会影响主线程性能
  • Everysec:每秒写回,每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,每隔一秒把缓冲区中的内容写入磁盘,避免了同步写回的性能开销,但是如果发生宕机,上一秒内未落盘的命令操作仍然会丢失
  • No:操作系统控制的写回,每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘,落盘的时机已经不在 Redis 手中了,只要 AOF 记录没有写回磁盘,一旦宕机对应的数据就丢失了

7.性能问题

  • 文件系统本身对文件大小有限制,无法保存过大的文件
  • 如果文件太大,之后再往里面追加命令记录的话,效率也会变低
  • 如果发生宕机,AOF 中记录的命令要一个个被重新执行,恢复起来缓慢影响业务

8.AOF 重写机制

  • AOF 重写机制就是在重写时根据数据库的现状创建一个新的 AOF 文件,然后对每一个键值对用一条命令记录它的写入
  • AOF 文件是以追加的方式,逐一记录接收到的写命令的,AOF 文件会记录相应的多条命令
  • 重写机制具有 多变一 功能,旧日志文件中的多条命令,在重写后的新日志中变成了一条命令

Tips:举例:对一个列表先后做了 6 次修改操作后,列表的最后状态是[“D”, “C”, “N”],此时,只用 LPUSH u:list “N”, “C”, "D"这一条命令就能实现该数据的恢复,这就节省了五条命令的空间。

9.AOF 重写机制引发的阻塞思考

  • 重写过程是由后台子进程 bgrewriteaof 来完成的,不会阻塞主线程
  • 一个拷贝:每次执行重写时,主线程 fork 出后台的 bgrewriteaof 子进程,bgrewriteaof 子进程就可以在不影响主线程的情况下,逐一把拷贝的数据写成操作,记入重写日志
  • 两处日志:如果有写操作,第一处日志就是指正在使用的 AOF 日志,Redis 会把这个操作写到它的缓冲区,即使宕机了,这个 AOF 日志的操作仍然是齐全的,可以用于恢复第二处日志,就是指新的 AOF 重写日志,这个操作也会被写到重写日志的缓冲区,重写日志也不会丢失最新的操作
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
6天前
|
存储 NoSQL Redis
保障数据安全,提升性能:探秘Redis AOF持久化机制在在线购物网站的应用
保障数据安全,提升性能:探秘Redis AOF持久化机制在在线购物网站的应用
|
6天前
|
安全 Linux 调度
【后台开发】TinyWebser学习笔记(4)定时器、日志系统(单例模式)、封装互斥锁信号量
【后台开发】TinyWebser学习笔记(4)定时器、日志系统(单例模式)、封装互斥锁信号量
10 1
|
6天前
|
缓存 NoSQL 关系型数据库
深入浅出Redis(四):Redis基于RDB、AOF的持久化
深入浅出Redis(四):Redis基于RDB、AOF的持久化
|
6天前
|
NoSQL 算法 关系型数据库
Redis持久化 RDB & AOF
Redis持久化 RDB & AOF
16 0
|
6天前
|
存储 运维 NoSQL
|
6天前
|
C++ 索引
【Qt 学习笔记】如何在Qt中打印日志 | qDebug的使用 | Assistant的使用
【Qt 学习笔记】如何在Qt中打印日志 | qDebug的使用 | Assistant的使用
27 0
|
6天前
|
缓存 NoSQL Redis
[Redis]——Redis持久化的两种方式RDB、AOF
[Redis]——Redis持久化的两种方式RDB、AOF
|
6天前
|
NoSQL 关系型数据库 MySQL
Redis 两种持久化方式 AOF 和 RDB
Redis 两种持久化方式 AOF 和 RDB
|
6天前
|
NoSQL 关系型数据库 MySQL
Redis持久化机制 RDB 和 AOF 的选择
Redis持久化机制 RDB 和 AOF 的选择
60 0
|
6天前
|
存储 缓存 NoSQL
Redis之持久化(RDB和AOF)
Redis之持久化(RDB和AOF)