图解MySQL【日志】——Redo Log

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS MySQL,高可用系列 2核4GB
简介: Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。

Redo Log(重做日志)

为什么需要 Redo Log?

1. 崩溃恢复

  • 数据库崩溃时,系统通过 Redo Log 来恢复尚未写入磁盘的数据。Redo Log 记录了所有已提交事务的操作,系统在重启后会重做这些操作,以保证数据不会丢失。

2. 提高性能

  • 使用 Redo Log 可以避免每次修改都立即写入磁盘(随机写),而是先将修改操作写入 Redo Log(顺序写),然后将数据写入内存,最后再异步地将数据写入磁盘,减少了磁盘 I/O 的次数,提高了性能。

3. 事务一致性

  • 即使数据库在执行过程中崩溃,Redo Log 也可以帮助恢复所有已提交的事务,确保数据库恢复到一致(Consistency)的状态。

Redo Log 是什么?

  • Redo Log 是物理日志,记录了某个数据页做了什么修改,如对 AAA 表空间中的 BBB 数据页 CCC 偏移量的地方做了 DDD 更新,每当执行一个事务,就会产生一条或多条物理日志。
  • 在事务提交时,只要保证 Redo Log 被持久化到磁盘即可,可以不需要等到将缓存在 Buffer Pool 里的脏页数据持久化到磁盘。即使系统崩溃,Redo Log 已完成持久化,等待 MySQL 重启后,可以根据 Redo Log 的内容,将所有数据恢复到最新状态。

WAL(Write-Ahead Logging)技术

核心思想

  • 先写日志:修改数据之前,先将修改操作记录到日志文件中,之后择机再写到磁盘中。
  • 崩溃恢复:这样即使崩溃,数据也能通过日志恢复到一致的状态。
  • 顺序写 VS 随机写:Redo Log 采用顺序循环写的方式,写入磁盘的速度远大于直接写入磁盘的顺序写方式。

过程如图


Redo Log 的持久化过程

1. Redo Log Buffer

  • 在事务执行过程中,产生的 Redo Log 也不是直接刷盘的,而是先写入 Redo Log Buffer,后续再择机刷入磁盘中。
  • 默认大小为 16MB,可通过 innodb_log_Buffer_size 参数动态调整大小,增大时,可以让 MySQL 处理【长事务】时不必写入磁盘,提升写 I/O 性能。

2. Redo Log 什么时候刷盘?

缓存在 Redo Log Buffer 中的 Redo Log 还是在内存中,刷盘时机如下:

  • MySQL 正常关闭时。
  • Redo Log Buffer 中记录的写入量大于总内存空间(由 innodb_log_Buffer_size 控制)的一半时,触发落盘。
  • 超过一半就落盘的原因:在性能数据安全之间找到一个平衡点。
  • InnoDB 的后台线程每隔 1s,将 Redo Log Buffer 持久化到磁盘。
  • 每次提交事务时,将 Redo Log Buffer 持久化到磁盘,由 innodb_flush_log_at_trx_commit 参数控制。

3. innodb_flush_log_at_trx_commit 参数

决定 Redo Log 的刷盘时机。

0 :每次事务提交,将 Redo Log 留在 Redo Log Buffer 中,该模式下,事务提交时不会主动触发落盘操作。

  • 写入磁盘时机:等待 InnoDB 后台线程每隔 1s,先写入 OS 的 Page Cache,后调用 fsync() 持久化到磁盘。
  • 数据安全性:MySQL 崩溃时,会导致上 1s 所有事务数据丢失

1(默认):每次事务提交,将缓存在 Redo Log Buffer 中的 Redo Log 直接持久化到磁盘中。

  • 安全性:该模式可以保证 MySQL 异常重启后,数据不会丢失。

2:每次事务提交时,都只将缓存在 Redo Log Buffer 中的 Redo Log 写到 Redo Log 文件(OS 的 Page Cache,系统文件缓存),而非磁盘。

  • 写入磁盘时机:等待 InnoDB 后台线程每隔 1s,调用 fsync() 将 Page Cache 中的 Redo Log 持久化到磁盘。
  • 数据安全性:MySQL 崩溃时不会导致数据丢失,只有在 OS 崩溃或系统断电的情况下,丢失上 1s 所有事物数据

数据安全性对比:参数 1 > 参数 2 > 参数 0


写入性能对比:参数 1 < 参数 2 < 参数 0


每种参数对应的写入过程

4. Redo Log 怎样写入?

重做日志文件组(Redo Log Group):

  • 默认情况下,InnoDB 存储引擎有一个 Redo Log Group,该重做日志文件组由 2 个 Redo Log 文件组成,且每个 Redo Log File 的大小固定且一致,如下图

循环写:

  • Redo Log Group 是以循环写方式工作的,即从头开始写,写到末尾再循环到开头,相当于环形。

  • 具体过程:Redo Log 是避免防止 Buffer Pool 中的脏页丢失而设计的,但随着系统运行,Buffer Pool 中的脏页逐步被刷新到磁盘中,Redo Log 也需要更新自己的空间,擦除已刷新到磁盘中的旧记录,为新的脏页数据腾出空间。
  • write pos:Redo Log 当前记录写到的位置。
  • check point:表示当前要擦除的位置。
  • write pos~check point(红色部分):用来记录新的更新操作。
  • write pos 追上 check point 时表示 Redo Log 文件已满,这时 MySQL 不能执行新的更新操作,即被阻塞(故大并发量的系统,将 Redo Log 文件大小设置为适当的值很有必要),此时会停下来将 Buffer Pool 中的脏页数据刷新到磁盘中,然后标记 Redo Log 哪些记录可以被擦除,接着对旧 Redo Log 记录进行擦除,等擦除完成并腾出空间后,check point就会往后移动,MySQL 恢复正常,继续执行新的更新操作。
  • check point~write pos(蓝色部分):待落盘的脏数据页记录。
  • 一次 check point 的过程就是脏页数据刷新到磁盘中变成干净页,然后标记 Redo Log 记录中哪些记录可以被覆盖的过程。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
目录
相关文章
|
1月前
|
SQL 运维 关系型数据库
深入探讨MySQL的二进制日志(binlog)选项
总结而言,对MySQL binlogs深度理解并妥善配置对数据库运维管理至关重要;它不仅关系到系统性能优化也是实现高可靠性架构设计必须考虑因素之一。通过精心规划与周密部署可以使得该机能充分发挥作用而避免潜在风险带来影响。
74 6
|
5月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
670 54
|
5月前
|
SQL 监控 关系型数据库
MySQL日志分析:binlog、redolog、undolog三大日志的深度探讨。
数据库管理其实和写小说一样,需要规划,需要修订,也需要有能力回滚。理解这些日志的作用与优化,就像把握写作工具的使用与运用,为我们的数据库保驾护航。
229 23
|
6月前
|
SQL 运维 关系型数据库
MySQL Binlog 日志查看方法及查看内容解析
本文介绍了 MySQL 的 Binlog(二进制日志)功能及其使用方法。Binlog 记录了数据库的所有数据变更操作,如 INSERT、UPDATE 和 DELETE,对数据恢复、主从复制和审计至关重要。文章详细说明了如何开启 Binlog 功能、查看当前日志文件及内容,并解析了常见的事件类型,包括 Format_desc、Query、Table_map、Write_rows、Update_rows 和 Delete_rows 等,帮助用户掌握数据库变化历史,提升维护和排障能力。
|
6月前
|
数据库 文件存储 数据安全/隐私保护
YashanDB redo日志文件管理
YashanDB的redo日志文件用于记录数据库物理日志,支持宕机重演和主备复制。 redo日志有4种状态:NEW(新创建)、CURRENT(当前写入)、ACTIVE(未归档或未写盘)和INACTIVE(可复用)。可通过V$LOGFILE视图或直接查看$YASDB_DATA/dbfiles目录来管理redo日志。此外,支持添加、切换和删除redo日志以优化性能或应对磁盘故障等情况,但需注意仅能删除INACTIVE或NEW状态的日志以确保数据安全。
|
7月前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
624 13
|
11月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
3105 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
10月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
274 9
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
1123 3

推荐镜像

更多