Redis持久化深入解析(RDB 、AOF)—官方原版

简介: Redis持久化深入解析(RDB 、AOF)—官方原版

Redis 如何将数据写入磁盘

持久性是指将数据写入持久存储,例如固态磁盘 (SSD)。Redis 提供了一系列持久性选项。其中包括:

  • RDB(Redis 数据库):RDB 持久性按指定的时间间隔执行数据集的时间点快照。
  • AOF(仅追加文件):AOF 持久性记录服务器收到的每个写入操作。然后可以在服务器启动时再次重播这些操作,重建原始数据集。命令的记录格式与 Redis 协议本身相同。
  • No persistence:可以完全禁用持久性。这有时在缓存时使用。
  • RDB + AOF:您还可以在同一实例中组合 AOF 和 RDB。

一、RDB

1、RDB优势

    • RDB 是 Redis 数据的一个非常紧凑的单文件时间点表示形式。RDB 文件非常适合备份。例如,您可能希望每隔 24 小时存档一次 RDB 文件,并将 RDB 快照每天保存 30 天。这使您可以在发生灾难时轻松还原数据集的不同版本。
    • RDB 非常适合灾难恢复,它是一个可以传输到远程数据中心或 Amazon S3(可能加密)的单个紧凑文件。
    • RDB 最大限度地提高了 Redis 性能,因为 Redis 父进程为了持久化而需要做的唯一工作是分叉一个子进程,该子进程将完成所有其余工作。父进程永远不会执行磁盘 I/O 或类似操作。
    • 与 AOF 相比,RDB 允许更快地重新启动大数据集。
    • 在副本上,RDB 支持重新启动和故障转移后的部分重新同步

    2、RDB 缺点

      • 如果您需要在 Redis 停止工作(例如停电后)将数据丢失的可能性降至最低,则 RDB 不好。您可以在生成 RDB 的位置配置不同的保存点(例如,在至少 100 分钟和针对数据集写入 <> 次后,您可以有多个保存点)。但是,您通常会每五分钟或更长时间创建一个 RDB 快照,因此,如果 Redis 因任何原因在没有正确关闭的情况下停止工作,您应该准备好丢失最新几分钟的数据。
      • RDB 经常需要 fork() 才能使用子进程持久化在磁盘上。如果数据集很大,fork() 可能会很耗时,如果数据集非常大且 CPU 性能不是很好,则可能会导致 Redis 停止为客户端提供服务几毫秒甚至一秒钟。AOF 还需要 fork(),但频率较低,您可以调整重写日志的频率,而无需牺牲持久性。

      二、AOF

      1、AOF优势

        • 使用 AOF Redis 更加持久:您可以拥有不同的 fsync 策略:完全没有 fsync,每秒 fsync 一次,每次查询时 fsync。使用每秒 fsync 的默认策略,写入性能仍然很高。fsync 是使用后台线程执行的,当没有 fsync 正在进行时,主线程将努力执行写入,因此您只能丢失一秒钟的写入。
        • AOF 日志是仅追加日志,因此在断电时不会有寻道或损坏问题。即使由于某种原因(磁盘已满或其他原因)日志以半写命令结束,redis-check-aof 工具也可以轻松修复它。
        • Redis 能够在 AOF 变得太大时在后台自动重写它。重写是完全安全的,因为当 Redis 继续追加到旧文件时,会使用创建当前数据集所需的最少操作集生成一个全新的文件,一旦第二个文件准备就绪,Redis 就会切换两者并开始追加到新文件。
        • AOF 以易于理解和解析的格式包含所有操作一个接一个的日志。您甚至可以轻松导出 AOF 文件。例如,即使您使用 FLUSHALL 命令意外刷新了所有内容,只要在此期间没有重写日志,您仍然可以通过停止服务器、删除最新命令并重新启动 Redis 来保存数据集。

        2、AOF缺点

          • AOF 文件通常大于同一数据集的等效 RDB 文件。
          • AOF 可能比 RDB 慢,具体取决于确切的 fsync 策略。一般来说,将 fsync 设置为每秒性能仍然非常高,并且在禁用 fsync 的情况下,即使在高负载下,它应该与 RDB 一样快。尽管如此,RDB仍然能够提供更多关于最大延迟的保证,即使在巨大的写入负载的情况下也是如此。

          三、快照

          默认情况下,Redis将数据集的快照保存在磁盘上,保存在一个名为dump.rdb的二进制文件中。如果数据集中至少有M个更改,您可以配置Redis,使其每隔N秒保存一次数据集,也可以手动调用save或BGSAVE命令。

          例如,如果至少更改了1000个键,此配置将使Redis每60秒自动将数据集转储到磁盘:

          save 60 1000

          image.gif

          四、工作原理

          每当Redis需要将数据集转储到磁盘时,会发生以下情况:

          • Redis分叉。我们现在有了一个子进程和一个父进程。
          • 子项开始将数据集写入临时 RDB 文件。
          • 当孩子写完新的RDB文件时,它会替换旧的 一。

          该方法允许Redis从写时复制语义中获益。

          五、仅追加文件

          快照不太耐用。如果运行Redis的计算机停止运行,电源线发生故障,或者意外杀死了-9个实例,则写入Redis的最新数据将丢失。虽然这对某些应用程序来说可能不是什么大问题,但也有完全持久性的用例,在这些情况下,仅使用Redis快照是不可行的。

          仅附加文件是Redis的一种完全持久的替代策略。它在1.1版中可用。

          您可以在配置文件中打开AOF:

          appendonly yes

          image.gif

          从现在开始,每次 Redis 收到一个命令,该命令会更改 数据集(例如 SET),它会将其附加到 AOF。重新启动时 Redis 它将重播 AOF 以重建状态。

          从 Redis 7.0.0 开始,Redis 使用多部分 AOF 机制。 也就是说,原始的单个 AOF 文件被拆分为基本文件(最多一个)和增量文件(可能有多个)。 基本文件表示重写 AOF 时存在的数据的初始(RDB 或 AOF 格式)快照。 增量文件包含自上次创建基本 AOF 文件以来的增量更改。所有这些文件都放在一个单独的目录中,并由清单文件跟踪

          六、日志重写

          随着写入操作的出现,AOF变得越来越大 执行。例如,如果要将计数器递增 100 倍, 您最终会在数据集中获得一个包含最终 值,但 AOF 中有 100 个条目。其中 99 个条目不需要 以重建当前状态。

          重写是完全安全的。 当 Redis 继续追加到旧文件时, 使用创建当前数据集所需的最少操作集生成一个全新的, 一旦第二个文件准备就绪,Redis 就会切换两者并开始附加到新文件。

          所以 Redis 支持一个有趣的功能:它能够重建 AOF 在后台,而不会中断对客户端的服务。每当 你发出一个BGREWRITEAOF,Redis会写最短的序列 在内存中重建当前数据集所需的命令。如果你是 将 AOF 与 Redis 2.2 一起使用,您需要不时运行 BGREWRITEAOF 时间。由于 Redis 2.4 能够自动触发日志重写(请参阅 示例配置文件以获取更多信息)。

          从 Redis 7.0.0 开始,当计划进行 AOF 重写时,Redis 父进程会打开一个新的增量 AOF 文件以继续写入。 子进程执行重写逻辑并生成新的基本 AOF。 Redis 将使用临时清单文件来跟踪新生成的基本文件和增量文件。 准备就绪后,Redis 将执行原子替换操作以使此临时清单文件生效。 为了避免在 AOF 重写重复失败和重试的情况下创建许多增量文件的问题, Redis 引入了 AOF 重写限制机制,以确保以越来越慢的速度重试失败的 AOF 重写。

          七、仅追加文件的持久性如何?

          您可以配置 Redis 在磁盘上同步数据的次数。有 三个选项:

            • appendfsync always:每次向AOF附加新命令时,都会执行fsync。非常慢,非常安全。请注意,在执行来自多个客户机或管道的一批命令后,这些命令会附加到AOF中,因此这意味着(在发送回复之前)进行一次写入和一次fsync
            • appendfsync everysec:fsync每秒钟一次。足够快(因为2.4版可能与快照一样快),如果发生灾难,您可能会丢失1秒的数据。
            • appendfsync no:永远不要fsync,只需将数据交给操作系统即可。更快、更不安全的方法。通常情况下,Linux使用此配置每30秒刷新一次数据,但这取决于内核的精确调整。

            建议的(也是默认的)策略是每秒fsync一次。它既快速又相对安全。always策略在实践中非常缓慢,但它支持组提交,因此如果存在多个并行写入,Redis将尝试执行单个fsync操作。

            八、AOF 和 RDB 持久性之间的交互

            Redis >= 2.4 确保在 RDB 时避免触发 AOF 重写 快照操作已在进行中,或者允许 BGSAVE 同时 AOF重写正在进行中。这可以防止两个 Redis 后台进程 同时执行繁重的磁盘 I/O。

            当快照正在进行并且用户显式请求日志时 使用 BGREWRITEA 的重写操作服务器将回复 OK 状态代码告诉用户操作已计划,并重写 将在快照完成后开始。

            如果同时启用了 AOF 和 RDB 持久性,并且 Redis 重新启动 AOF文件将用于重建原始数据集,因为它是 保证是最完整的。


             官网:Doker 多克; 官方旗舰店首页-Doker 多克 多克创新科技企业店-淘宝网全品优惠


            目录
            相关文章
            |
            5月前
            |
            存储 缓存 NoSQL
            Redis常见面试题全解析
            Redis面试高频考点全解析:从过期删除、内存淘汰策略,到缓存雪崩、击穿、穿透及BigKey问题,深入原理与实战解决方案,助你轻松应对技术挑战,提升系统性能与稳定性。(238字)
            |
            6月前
            |
            NoSQL 安全 关系型数据库
            Redis:持久化的两种方式
            Redis持久化机制主要包括RDB和AOF两种方式。RDB通过生成数据快照进行持久化,支持手动或自动触发,具有加载速度快、文件紧凑等特点,但无法实时保存数据。AOF则记录每个操作命令,保障数据更安全,支持多种写入策略,并可通过重写机制优化文件大小。两者各有优劣,常结合使用以兼顾性能与数据安全。
            |
            6月前
            |
            存储 缓存 NoSQL
            Redis持久化深度解析:数据安全与性能的平衡艺术
            Redis持久化解决内存数据易失问题,提供RDB快照与AOF日志两种机制。RDB恢复快、性能高,但可能丢数据;AOF安全性高,最多丢1秒数据,支持多种写回策略,适合不同场景。Redis 4.0+支持混合持久化,兼顾速度与安全。根据业务需求选择合适方案,实现数据可靠与性能平衡。(238字)
            |
            6月前
            |
            存储 监控 NoSQL
            Redis高可用架构全解析:从主从复制到集群方案
            Redis高可用确保服务持续稳定,避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余,哨兵模式支持自动故障转移,Cluster集群则提供分布式数据分片与水平扩展,三者层层递进,保障读写分离、容灾切换与大规模数据存储,构建高性能、高可靠的Redis架构体系。
            |
            9月前
            |
            缓存 监控 NoSQL
            Redis 实操要点:Java 最新技术栈的实战解析
            本文介绍了基于Spring Boot 3、Redis 7和Lettuce客户端的Redis高级应用实践。内容包括:1)现代Java项目集成Redis的配置方法;2)使用Redisson实现分布式可重入锁与公平锁;3)缓存模式解决方案,包括布隆过滤器防穿透和随机过期时间防雪崩;4)Redis数据结构的高级应用,如HyperLogLog统计UV和GeoHash处理地理位置。文章提供了详细的代码示例,涵盖Redis在分布式系统中的核心应用场景,特别适合需要处理高并发、分布式锁等问题的开发场景。
            552 42
            |
            7月前
            |
            存储 缓存 人工智能
            Redis六大常见命令详解:从set/get到过期策略的全方位解析
            本文将通过结构化学习路径,帮助读者实现从命令语法掌握到工程化实践落地的能力跃迁,系统性提升 Redis 技术栈的应用水平。
            |
            8月前
            |
            存储 缓存 NoSQL
            Redis 核心知识与项目实践解析
            本文围绕 Redis 展开,涵盖其在项目中的应用(热点数据缓存、存储业务数据、实现分布式锁)、基础数据类型(string 等 5 种)、持久化策略(RDB、AOF 及混合持久化)、过期策略(惰性 + 定期删除)、淘汰策略(8 种分类)。 还介绍了集群方案(主从复制、哨兵、Cluster 分片)及主从同步机制,分片集群数据存储的哈希槽算法。对比了 Redis 与 Memcached 的区别,说明了内存用完的情况及与 MySQL 数据一致性的保证方案。 此外,详解了缓存穿透、击穿、雪崩的概念及解决办法,如何保证 Redis 中是热点数据,Redis 分布式锁的实现及问题解决,以及项目中分布式锁
            238 1
            |
            9月前
            |
            存储 监控 NoSQL
            流量洪峰应对术:Redis持久化策略与内存压测避坑指南
            本文深入解析Redis持久化策略与内存优化技巧,涵盖RDB快照机制、AOF重写原理及混合持久化实践。通过实测数据揭示bgsave内存翻倍风险、Hash结构内存节省方案,并提供高并发场景下的主从复制冲突解决策略。结合压测工具链构建与故障恢复演练,总结出生产环境最佳实践清单。
            344 9
            |
            9月前
            |
            缓存 NoSQL Java
            Java Redis 面试题集锦 常见高频面试题目及解析
            本文总结了Redis在Java中的核心面试题,包括数据类型操作、单线程高性能原理、键过期策略及分布式锁实现等关键内容。通过Jedis代码示例展示了String、List等数据类型的操作方法,讲解了惰性删除和定期删除相结合的过期策略,并提供了Spring Boot配置Redis过期时间的方案。文章还探讨了缓存穿透、雪崩等问题解决方案,以及基于Redis的分布式锁实现,帮助开发者全面掌握Redis在Java应用中的实践要点。
            497 6
            |
            存储 NoSQL 安全
            Redis的两种持久化方式---RDB、AOF
            通过本文的介绍,我们详细讲解了Redis的两种主要持久化方式:RDB和AOF。每种方式都有其独特的优缺点和适用场景。在实际应用中,可以根据具体需求选择合适的持久化方式,或者同时启用RDB和AOF,以达到最佳效果。希望本文能帮助您更好地理解和应用Redis的持久化机制,构建高效、可靠的数据存储解决方案。
            1182 79