Redis持久化机制:AOF日志

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: 说到关系型数据库,最常想到的就是MySQL、oracle了;说到非关系型数据库,最常想到的就是redis、MongoDB了。而Redis因其速度快的优势,广泛应用在各种缓存场景中。但redis数据是存储在内存中,所以数据的持久化就显得尤为重要,我们都知道,Redis有两大持久化机制,分别是 AOF日志 和 RDB快照,今天就先来说说AOF日志的重要知识吧。

前言

说到关系型数据库,最常想到的就是MySQL、oracle了;说到非关系型数据库,最常想到的就是redis、MongoDB了。而Redis因其速度快的优势,广泛应用在各种缓存场景中。

但redis数据是存储在内存中,所以数据的持久化就显得尤为重要,我们都知道,Redis有两大持久化机制,分别是 AOF日志RDB快照,今天就先来说说AOF日志的重要知识吧。

AOF写入规则

简单来说,AOF写入规则就是:

  1. redis执行命令
  2. 执行成功后,将命令记录到日志中(注意,是将命令记录起来)

注意,命令成功后才会记录命令,这样就可以避免记录大量错误命令到日志中了。

AOF存在2个潜在风险:

  • 丢失数据,比如刚执行完一个命令,AOF日志还没记录就宕机了,此时会丢失这个命令日志。
  • 会阻塞Redis主线程:AOF不会阻塞当前的操作,但是可能会给下一操作带来阻塞的风险,因为AOF日志也是在Redis的主线程中完成的。

AOF的3种写回策略

为了解决丢失数据的风险,AOF有提供了3种写回策略,分别是:

  • Always 同步写回:每个写命令执行完成,立刻同步地将日志写回磁盘;
  • Everysec 每秒写回:每个写命令执行后,日志先写到内存缓冲区,每1秒将缓冲区的内容写入磁盘;
  • No 操作系统控制的写回:每个写命令执行后,把日志写到AOF文件的内存缓冲区,写入时机由操作系统决定。

每种策略都有各自的优缺点,总结就是:

策略 优点 缺点
Always 数据基本不丢失 每个命令执行后都得同步,性能影响大
Everysec 性能适中 宕机会丢失1秒内的数据
No 性能最好 宕机会丢失较多数据

根据每种策略的优缺点,我们结合项目的要求来选择策略。比如说我们的数据可靠性的要求特别高,就选择Always策略;如果想高性能,可靠性要求不是很高,就选择No策略;如果允许数据有少部分丢失,性能要求不能受太大影响,我们可选择Everysec策略。

当AOF记录的日志越来越多,日志文件也会随着增大,我们需要注意随之产生的性能问题。总结有3点:

  1. 系统会限制保存过大的文件;
  2. 文件太大,追加日志的话,效率会变低;
  3. 文件太大,如果发生宕机,恢复时间就会很慢。

Redis的设计者也考虑到了这个问题,因此就有了下面要讲的AOF重写机制。

AOF重写机制

重写机制说简单点,就是会对记录的多条命令加以判断,如果可合并,就对多条命令合并,这样就减少了文件大小。 举个例子来说:

重写前的命令:
$ hset nba curry 30
$ hset nba james 23
$ hdel nba james 23
$ hset nba kobe 24
复制代码

此时nba这个哈希列表中有的数据是:curry 30, kobe 24

经过AOF重写后的命令就会简化成:

$ hset nba curry 30
$ hset nba kobe 24
复制代码

AOF重写这个过程,不会阻塞主线程。因为这个过程是通过后台子进程bgrewriteaof去完成的。重写这个过程,总结来说就是一个拷贝,两处日志。

一个拷贝 意思就是当AOF重写时,主线程会fork出一个子进程bgrewriteaof。同时,fork会将主线程的内存拷贝一份给子进程,这样子进程就能访问到最新的数据,bgrewriteaof就将需要拷贝的数据记录到重写日志。

两处日志 指的是:1. 正在使用的AOF日志,redis会将它写到缓冲区;2.新的AOF重写日志,也会被写到重写日志的缓冲区,等到拷贝数据的重写完成后,再将新的重写日志也写到AOF文件中。

归纳一下,每次AOF重写时,Redis会拷贝一份内存用于重写。然后2处日志就是保证重写过程中,新产生的数据不会丢失。

AOF重写的触发条件

我们可通过2个配置项去控制AOF重写的触发:

  1. auto-aof-rewrite-min-size: 表示运行AOF重写时文件的最小大小,默认为64MB
  2. auto-aof-rewrite-percentage: 当前AOF文件比上一次重写后AOF文件的增量大小,和上一次重写后AOF文件大小的比值。

当AOF文件大小同时超出2个配置项的值时,Redis就会触发AOF重写这个机制。

小结

Redis AOF日志,是Redis持久化机制的一种。当我们要选择此机制时,需要了解其写入规则及其重要参数,才能更好的配置好redis。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
20天前
|
存储 缓存 NoSQL
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
33 2
大数据-45 Redis 持久化概念 RDB AOF机制 持久化原因和对比
|
20天前
|
存储 Prometheus NoSQL
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
21 3
|
20天前
|
设计模式 NoSQL 网络协议
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
33 2
|
20天前
|
存储 缓存 NoSQL
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
大数据-46 Redis 持久化 RDB AOF 配置参数 混合模式 具体原理 触发方式 优点与缺点
50 1
|
2月前
|
存储 NoSQL Redis
Redis的RDB快照:保障数据持久性的关键机制
Redis的RDB快照:保障数据持久性的关键机制
43 0
|
2月前
|
存储 缓存 NoSQL
深入探究Redis的AOF持久化:保障数据安全与恢复性能的关键机制
深入探究Redis的AOF持久化:保障数据安全与恢复性能的关键机制
64 0
|
19天前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
124 3
|
3月前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
117 3
|
19天前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1585 14
|
14天前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
19 0