Redis · 特性分析 · AOF Rewrite 分析

简介:

AOF介绍

Redis提供两种持久化机制

  1. RDB: 将数据库的快照以二进制的方式保存到磁盘;
  2. AOF: 将所有写入命令及相关参数以协议文本的方式写入文件并持久保存磁盘。

本文只关心AOF,简单介绍一下:Redis Server将所有写入的命令转换成协议文本的方式写入AOF文件,例如:Server收到 set key value的的写入命令,server会进行以下几步操作:

  1. 将命令转换成协议文本,转换后的结果:*3\r\n$3\r\nSET\r\n$3\r\nKEY\r\n$5\r\nVALUE\r\n;
  2. 将协议文本追加到aof缓存,也就是aof_buf;
  3. 根据sync策略调用fsync/fdatasync。

到目前为止已经成功保存数据,如果想要还原AOF,只需要将AOF里命令读出来并重放就可以还原数据库。

AOF持久化机制存在一个致命的问题,随着时间推移,AOF文件会膨胀,如果频繁写入AOF文件会膨胀到无限大,当server重启时严重影响数据库还原时间,影响系统可用性。为解决此问题,系统需要定期重写AOF文件,目前采用的方式是创建一个新的AOF文件,将数据库里的全部数据转换成协议的方式保存到文件中,通过此操作达到减少AOF文件大小的目的,重写后的大小一定是小于等于旧AOF文件的大小。

重写AOF提供两种方式

  1. REWRITE: 在主线程中重写AOF,会阻塞工作线程,在生产环境中很少使用,处于废弃状态;
  2. BGREWRITE: 在后台(子进程)重写AOF, 不会阻塞工作线程,能正常服务,此方法最常用。

本文只关心BGREWRITE的问题,因此只介绍此命令的实现机制。

AOF后台Rewrite实现方式

Server收到BGREWRITE命令或者系统触发AOF重写时,主进创建一个子进程并进行AOF重写,主进程异步等待子进程结束(信号量),此时主进程能正常接收处理用户请求,用户请求会修改数据库里数据,会使得当前数据库的数据跟重写后AOF里不一致,需要有种机制保证数据的一致性。当前的做法是在重写 AOF 期间系统会新开一块内存用于缓存重写期间收到的命令,在重写完成以后再将缓存中的数据追加到新的AOF。在处理命令时既要将命令追加到 aof_buf,也要追加到重写AOF Buffer。

AOF后台Rewrite存在的问题

重写AOF Buffer是个不限大小的buffer,但用户写入的数据量较多时会出现以下两个问题:

  1. 占用过多内存,浪费资源;
  2. 主进程将AOF buffer数据写入到新AOF文件中时会阻塞工作线程,用户正常请求的延时会变高,严重情况下会超时,主备同步也会出问题,断开重连,重新同步等。

AOF后台Rewrite解决方案

官方解决方案

主要思路是AOF重写期间,主进程跟子进程通过管道通信,主进程实时将新写入的数据发送给子进程,子进程从管道读出数据交缓存在buffer中,子进程等待存量数据全部写入AOF文件后,将缓存数据追加到AOF文件中,此方案只是解决阻塞工作线程问题,但占用内存过多问题并没有解决。

新解决方案

主要思路是AOF重写期间,主进程创建一个新的aof_buf,新的AOF文件用于接收新写入的命令,sync策略保持不变,在AOF重写期间,系统需要向两个aof_buf,两个AOF文件同时追加新写入的命令。当主进程收到子进程重写AOF文件完成后,停止向老的aof_buf,AOF文件追加命令,然后删除旧的AOF文件(流程跟原来保持一致);将将子进程新生成的AOF文件重命名为appendonly.aof.last,具体流程如下:

  1. 停止向旧的aof_buf,AOF文件追加命令;
  2. 删除旧的的appendonly.aof.last文件;
  3. 交换两个aof_buf,AOF文件指针;
  4. 回收旧的aof_buf,AOF文件;
  5. 重命令子进程生成的AOF文件为appendonly.aof.last;

系统运行期间同时存在两个AOF文件,一个是当前正在写的AOF,另一个是存量的AOF数据文件。因此需要修改数据库恢复相关逻辑,加载AOF时先要加载存量数据appendonly.aof.last,再加载appendonly.aof。

目录
相关文章
|
SQL 监控 关系型数据库
MySQL分区表:大规模数据管理的解决方案
本文深入解析了MySQL分区表的原理与实战应用,涵盖分区类型、管理策略及性能优化技巧,帮助用户提升查询效率和数据管理能力。
|
7月前
|
存储 SQL 关系型数据库
一文搞懂 MySQL 核心架构:Server 层与存储引擎全拆解
本文深入剖析MySQL核心架构,详解Server层(连接器、解析器、优化器、执行器)与存储引擎层(InnoDB内存/磁盘结构、事务ACID、MVCC、两阶段提交)的协同机制,并结合实战案例与Java代码,助开发者真正理解SQL执行全流程,高效解决慢查询、死锁、事务失效等生产问题。
876 1
|
11月前
|
关系型数据库 MySQL Java
《理解MySQL数据库》执行计划EXPLAIN深度解析
本文系统讲解MySQL执行计划(EXPLAIN)在Java开发中的应用,涵盖基础语法、各列深度解析及实战优化案例。通过分析type、key、Extra等关键字段,帮助开发者诊断慢查询、优化索引、提升SQL性能,并结合Spring AOP与JDBC实现执行计划的自动化监控与优化建议,构建高效稳定的数据库访问体系。(239字)
|
关系型数据库 数据库 索引
间隙锁
间隙锁是数据库中用于解决幻读问题的锁机制,主要在可重复读隔离级别下生效。它通过锁定索引记录之间的间隙,阻止其他事务插入新数据,从而保证查询结果的一致性。间隙锁在范围查询、唯一索引不存在记录时等场景触发,既能防止并发插入冲突,也可能降低并发性能并引发死锁。合理配置隔离级别和优化查询条件可减少其影响。
665 0
|
机器学习/深度学习 存储 关系型数据库
深入Doris实时数仓:导入本地数据
深入Doris实时数仓:导入本地数据
|
存储 关系型数据库 MySQL
10个案例告诉你mysql不使用子查询的原因
大家好,我是V哥。上周与朋友讨论数据库子查询问题,深受启发。为此,我整理了10个案例,详细说明如何通过优化子查询提升MySQL性能。主要问题包括性能瓶颈、索引失效、查询优化器复杂度及数据传输开销等。解决方案涵盖使用EXISTS、JOIN、IN操作符、窗口函数、临时表及索引优化等。希望通过这些案例,帮助大家在实际开发中选择更高效的查询方式,提升系统性能。关注V哥,一起探讨技术,欢迎点赞支持!
812 5
|
SQL 监控 druid
MySQL线程池导致的延时卡顿排查
## 问题描述 简单小表的主键点查SQL,单条执行很快,但是放在业务端,有时快有时慢,取了一条慢sql,在MySQL侧查看,执行时间很短。 通过Tomcat业务端监控有显示慢SQL,取slow.log里显示有12秒执行时间的SQL,但是这次12秒的执行在MySQL上记录下来的执行时间都不到1ms。 所在节点的tsar监控没有异常,Tomcat manager监控上没有fgc,Tomcat实
2684 0
MySQL线程池导致的延时卡顿排查
|
安全 网络协议 JavaScript
Open-Dis的C++版本编译(CMake-gpu 3.21.4)以及SDL2和SDL_net库的配置使用
Open-Dis的C++版本编译(CMake-gpu 3.21.4)以及SDL2和SDL_net库的配置使用
1192 0
Open-Dis的C++版本编译(CMake-gpu 3.21.4)以及SDL2和SDL_net库的配置使用
|
缓存 NoSQL 安全
Redis 7.0 Multi Part AOF的设计和实现
本文将详解Redis中现有AOF机制的一些不足以及Redis 7.0中引入的Multi Part AOF的设计和实现细节
2649 0
|
监控 算法 关系型数据库
MySQL学习笔记- 刷脏页(flush)对性能的影响
MySQL学习笔记- 刷脏页(flush)对性能的影响
1256 0