一文带你了解MySQL之Log Buffer

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 上一篇文章我们首次提到Redo Log的概念,Redo Log是数据库体系架构中非常重要的一个模块,它能保证数据库的Crash-safe(崩溃恢复)的能力。而今天要介绍的Log Buffer正和Redo Log息息相关、密不可分。所以我们就来一起来了解它。

前言

上一篇文章我们首次提到Redo Log的概念,Redo Log是数据库体系架构中非常重要的一个模块,它能保证数据库的Crash-safe(崩溃恢复)的能力。而今天要介绍的Log Buffer正和Redo Log息息相关、密不可分。所以我们就来一起来了解它。

微信图片_20230525231258.png

官档地址:https://dev.mysql.com/doc/refman/8.0/en/innodb-redo-log-buffer.html

点击此处跳转


一、Redo Log是什么

Redo Log(重做日志)是MySQL中非常重要的日志模块


MySQL官方给出的解释是:日志缓冲区是存储要写入磁盘上的日志文件的数据的内存区域,日志缓冲区的内容定期刷新到磁盘。


重做日志是一种基于磁盘的数据结构,用于在崩溃恢复期间纠正不完整事务写入的数据。在正常操作期间,重做日志对由SQL语句或低级API调用产生的更改表数据的请求进行编码。在初始化期间和接受连接之前,会自动重播在意外关闭之前未完成更新数据文件的修改,MySQL里经常说到的WAL技术(WAL的全称是Write-Ahead Logging),它的关键点就是日志先行(也称为写前日志,实际写数据之前,先把修改的数据记录到日志文之间中。即先写日志,再写磁盘),其实很多数据库软件设计的理念都是日志先行。MySQL中日志先行的这个“日志”就是Redo Log。


Redo Log是InnoDB引擎特有的日志,正是因为有了Redo Log,才保证了InnoDB存储引擎的Crash-safe能力。


Redo Log是物理日志,记录的是“在某个数据页上做了什么修改(做了什么改动)”。一句话概括一下:Redo Log是为了保证已提交事务的ACID特性,同时能够提高数据库性能的技术。


二、Redo Log三层架构

微信图片_20230525231636.png

简单来说一下Redo Log的三层结构:


粉色部分:是InnoDB一项很重要的内存结构(In-Memory Structure),即我们的Log Buffer(日志缓冲区),这一层,是MySQL应用程序用户态控制。

黄色部分:操作系统文件系统的缓冲区(FS Page Cache),这一层,是操作系统OS内核态控制。

绿色部分:就是落盘的物理日志文件。

2.1 Redo Log最终落盘的步骤

首先,事务提交的时候,会写入Log Buffer,这里调用的是MySQL自己的函数WriteRedoLog;

接着,只有当MySQL发起系统调用写文件write时,Log Buffer里的数据,才会写到FS Page Cache。注意,MySQL系统调用完write之后,就认为文件已经写完,如果不flush,什么时候落盘,是操作系统决定的;

最后,由操作系统(当然,MySQL也可以主动flush)将FS Page Cache里的数据,最终fsync到磁盘上;

操作系统为什么要缓冲数据到FS Page Cache里,而不直接刷盘呢?


这里就是将“每次写”优化为“批量写”,以提高操作系统性能。


数据库为什么要缓冲数据到Log Buffer里,而不是直接write呢?


这也是“每次写”优化为“批量写”思路的体现,以提高数据库性能。


Redo Log三层架构,MySQL做了一次批量写优化,OS做了一次批量写优化,确实能极大提升性能,但有什么副作用吗?

有优点,必有缺点。这个副作用,就是可能丢失数据:


事务提交时,将Redo Log写入Log Buffer,就会认为事务提交成功

如果写入Log Buffer的数据,write入FS Page Cache之前,数据库崩溃,就会出现数据丢失

如果写入FS Page Cache的数据,fsync入磁盘之前,操作系统奔溃,也可能出现数据丢失;


如上文所说,应用程序系统调用完write之后(不可能每次write后都立刻flush,这样写日志很蠢),就认为写成功了,操作系统何时fsync,应用程序并不知道,如果操作系统崩溃,数据可能丢失)


2.2 MySQL对上述可能存在问题的折衷方案

参数innodb_flush_log_at_trx_commit能够控制事务提交时,刷Redo Log的策略,目前有三种策略,即对应可设置的值可以是0、1或2。

微信图片_20230525231652.png

策略一:最佳性能(innodb_flush_log_at_trx_commit=0)


处理过程: 每隔一秒,才将Log Buffer中的数据批量write入FS Page Cache,同时MySQL主动fsync。

缺点: 这种策略,如果数据库奔溃,有一秒的数据丢失。


策略二:强一致(innodb_flush_log_at_trx_commit=1)


处理过程: 每次事务提交,都将Log Buffer中的数据write入FS Page Cache,同时MySQL主动fsync。这种策略,是InnoDB的默认配置,为的是保证事务ACID特性。

缺点: 这种策略,性能较其余两种策略较差。


策略三:折衷(innodb_flush_log_at_trx_commit=2)

处理过程: 每次事务提交,都将Log Buffer中的数据write入FS Page Cache;每隔一秒,MySQL主动将FS Page Cache中的数据批量fsync。

缺点: 这种策略,如果操作系统奔溃,最多有一秒的数据丢失。(因为OS也会fsync,MySQL主动fsync的周期是一秒,所以最多丢一秒数据。磁盘IO次数不确定,因为操作系统的fsync频率并不是MySQL能控制的)


2.3 Redo Log刷盘策略最佳实践

高并发业务,行业最佳实践,是使用第三种折衷配置(innodb_flush_log_at_trx_commit=2),这是因为:


配置为2和配置为0,性能差异并不大,因为将数据从Log Buffer拷贝到FS Page Cache,虽然跨越用户态与内核态,但毕竟只是内存的数据拷贝,速度很快;


配置为2和配置为0,安全性差异巨大,操作系统崩溃的概率相比MySQL应用程序崩溃的概率,小很多,设置为2,只要操作系统不奔溃,也绝对不会丢数据。


三 、Redo Log相关参数

mysql> show variables like '%innodb_log%';

+------------------------------------+----------+

| Variable_name                      | Value    |

+------------------------------------+----------+

| innodb_log_buffer_size             | 16777216 |

| innodb_log_checksums               | ON       |

| innodb_log_compressed_pages        | ON       |

| innodb_log_file_size               | 50331648 |

| innodb_log_files_in_group          | 2        |

| innodb_log_group_home_dir          | ./       |

| innodb_log_spin_cpu_abs_lwm        | 80       |

| innodb_log_spin_cpu_pct_hwm        | 50       |

| innodb_log_wait_for_flush_spin_hwm | 400      |

| innodb_log_write_ahead_size        | 8192     |

| innodb_log_writer_threads          | ON       |

+------------------------------------+----------+

11 rows in set (0.01 sec)


mysql> show variables like '%innodb_flush_log%';

+--------------------------------+-------+

| Variable_name                  | Value |

+--------------------------------+-------+

| innodb_flush_log_at_timeout    | 1     |

| innodb_flush_log_at_trx_commit | 1     |

+--------------------------------+-------+

2 rows in set (0.00 sec)



从上面可以看出,Redo Log的相关参数还是很多的,所以我们拿重点的来说,其余参数一般为默认值,感兴趣的可移步MySQL官档(https://dev.mysql.com/doc/refman/8.0/en/innodb-parameters.html)进行查阅


3.1 innodb_log_buffer_size

InnoDB用于写入磁盘上的日志文件的缓冲区的大小(以字节为单位)。这就是定义我们文章标题的Log Buffer大小的参数。随着32KB和64KBinnodb_page_size值的引入,默认值从8MB更改为16MB。大型日志缓冲区使大型事务能够运行,而无需在事务提交之前将日志写入磁盘。因此,如果您有更新、插入或删除许多行的事务,则增大日志缓冲区可以节省磁盘 I/O。


set persist innodb_log_buffer_size =33554432;


3.2 innodb_log_checksums

启用或禁用重做日志页面的校验和,当innodb_log_checksums被禁用时,重做日志页面校验字段的内容被忽略,默认是开启


set persist innodb_log_checksums = on;


3.3 innodb_log_compressed_pages

日志文件页存储压缩 , 将减少redo log的写入量。默认是开启


set persist innodb_log_compressed_pages= on;


3.4 innodb_log_file_size & innodb_log_files_in_group

innodb_log_file_size是日志组每个Redo Log文件的大小,单位字节

innodb_log_files_in_group是定义日志组文件的数量

微信图片_20230525231714.png

innodb_log_file_size * innodb_log_files_in_group 组合大小不能超过略小于 512GB 的最大值。从文章开头的架构图可以看出,Log Buffer也是内存+磁盘的结构,这两个参数就是定义Log Buffer磁盘结构日志文件组的,同时这两个参数也很重要。


write pos是当前记录的位置,一边写一边后移,写到第2号文件末尾后就回到0号文件开头。checkpoint是当前要擦除的位置,也是往后推移并且循环的,擦除记录前要把记录更新到数据文件。write pos和checkpoint之间的“Free”部分还空着的部分,可以用来记录新的操作。如果write pos追上checkpoint,表示Redo Log满了,这时候不能再执行新的更新,得停下来把checkpoint推进一下


3.5 innodb_flush_log_at_trx_commit

控制提交操作的严格ACID合规性与当与提交相关的I/O操作重新排列并批量完成时可能实现的更高性能之间的平衡。这个参数非常重要,后面的Log Buffer原理主要是关于这个参数的。设置的值不同会产生不同的效果,可设置的值可以是0、1或2。


1:表示每次事务提交都会将redo log buffer刷写到redo log

0:表示每次事务提交不会刷写到redo log,而是一秒后再刷写到redo log

2:表示每次事务提交不会刷写到redo log,而是存放到os cache,等一秒后再刷写到redo log

今天主要讲解了Redo Log和MySQL InnoDB Log Buffer的工作原理,通过流程图的方式来说明Redo Log三种刷盘策略的工作流程,偏理论的知识,内容比较少也很好理解,大家理解记忆即可


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
11天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
119 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
7天前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1638 14
|
8天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的撤销日志文件和错误日志文件
本文介绍了MySQL的物理存储结构,重点讲解了InnoDB存储引擎中的撤销日志文件(undo log)和错误日志文件。从MySQL 8.0开始,默认生成两个10MB的undo表空间文件,并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题,通过示例展示了如何查看和使用这些日志。
|
1月前
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
28 1
|
1月前
|
关系型数据库 MySQL 数据库
DZ社区 mysql日志清理 Discuz! X3.5数据库可以做定期常规清理的表
很多站长在网站日常维护中忽略了比较重要的一个环节,就是对于数据库的清理工作,造成数据库使用量增加必须多的原因一般有2个:后台站点功能开启了家园,此功能现在很少有论坛会用到,但是灌水机会灌入大量垃圾信息致使站长长时间未能发觉;再有就是程序默认的一些通知类表单会存放大量的、对于网站日常运行并无意义的通知信息。
80 2
|
30天前
|
存储 关系型数据库 MySQL
MySQL中的Redo Log、Undo Log和Binlog:深入解析
【10月更文挑战第21天】在数据库管理系统中,日志是保障数据一致性和完整性的关键机制。MySQL作为一种广泛使用的关系型数据库管理系统,提供了多种日志类型来满足不同的需求。本文将详细介绍MySQL中的Redo Log、Undo Log和Binlog,从背景、业务场景、功能、底层实现原理、使用措施等方面进行详细分析,并通过Java代码示例展示如何与这些日志进行交互。
70 0
|
3月前
|
API C# 开发框架
WPF与Web服务集成大揭秘:手把手教你调用RESTful API,客户端与服务器端优劣对比全解析!
【8月更文挑战第31天】在现代软件开发中,WPF 和 Web 服务各具特色。WPF 以其出色的界面展示能力受到欢迎,而 Web 服务则凭借跨平台和易维护性在互联网应用中占有一席之地。本文探讨了 WPF 如何通过 HttpClient 类调用 RESTful API,并展示了基于 ASP.NET Core 的 Web 服务如何实现同样的功能。通过对比分析,揭示了两者各自的优缺点:WPF 客户端直接处理数据,减轻服务器负担,但需处理网络异常;Web 服务则能利用服务器端功能如缓存和权限验证,但可能增加服务器负载。希望本文能帮助开发者根据具体需求选择合适的技术方案。
165 0
|
3月前
|
C# Windows 监控
WPF应用跨界成长秘籍:深度揭秘如何与Windows服务完美交互,扩展功能无界限!
【8月更文挑战第31天】WPF(Windows Presentation Foundation)是 .NET 框架下的图形界面技术,具有丰富的界面设计和灵活的客户端功能。在某些场景下,WPF 应用需与 Windows 服务交互以实现后台任务处理、系统监控等功能。本文探讨了两者交互的方法,并通过示例代码展示了如何扩展 WPF 应用的功能。首先介绍了 Windows 服务的基础知识,然后阐述了创建 Windows 服务、设计通信接口及 WPF 客户端调用服务的具体步骤。通过合理的交互设计,WPF 应用可获得更强的后台处理能力和系统级操作权限,提升应用的整体性能。
108 0
|
11天前
|
SQL 关系型数据库 MySQL
12 PHP配置数据库MySQL
路老师分享了PHP操作MySQL数据库的方法,包括安装并连接MySQL服务器、选择数据库、执行SQL语句(如插入、更新、删除和查询),以及将结果集返回到数组。通过具体示例代码,详细介绍了每一步的操作流程,帮助读者快速入门PHP与MySQL的交互。
26 1
下一篇
无影云桌面