一生挚友redo log、binlog《死磕MySQL系列 二》(2)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 一生挚友redo log、binlog《死磕MySQL系列 二》

二、binlog

您可以从总体上了解到 MySQL架构分为两层,一个是 server层,另一个是存储引擎层。


server层当然是负责功能方面的,而存储引擎层则负责处理与存储相关的操作。


而且上面提到的redo log是Innodb存储引擎层特有的,其它存储引擎是不具备的,而server层也有自己的日志记录,就是将要聊到的binlog。


redo log和binlog的区别


redo log是Innodb引擎特有的,而binlog是MySQLserver层特有的,所有引擎都可以使用。


redo log是物理日志,它记录的是一条更新操作所做的修改,binlog是逻辑日志,记录的是一条更新语句执行逻辑


redo log是循环写的,并且空间是固定的,比如上面配置4个1GB的redo log文件,binlog是追加写的,这个文件写完了,换下一个文件,不会覆盖以前的日志。这也就是你经常看到只要你有完整的binlog文件就可以给你恢复到你想要的数据。


MySQL为什么会有俩份日志呢?


在没有Innodb存储引擎之前,MySQL默认存储引擎是MyIsam,但MyIsam是没有重启恢复能力的,binlog日志也仅用于归档。


Innodb是另一家公司以插件的形式引入到Mysql,既然binlog没有重启恢复的能力,那么我就使用redo log来实现重启恢复的功能。


这就导致了当你使用Innodb存储引擎时会写俩份日志。


三、什么是两阶段提交

对redo log、binlog有了一定的认识后再来看看一条更新语句的执行流程。


update user set age = age + 1 where id = 1;


执行器先到引擎层找到id = 1这一行,由于ID是主键,所以会在主键索引树找到这一行。如果ID=2这一行所在的数据页本来就在内存中,就直接返回给执行器。否则,需要先从磁盘中读入内存,然后再返回。


执行器拿到存储引擎返回id = 2结果后,给age加上1,原来是25,现在就是26,在调用引擎接口写入这行新数据。


引擎将这行数据先更新到内存中,同时将这个更新操作记录到redo log中,此时redo log处于prepare状态。然后告知执行器执行完成了,随时可以提交事务。


接着执行器生成这个操作的binlog,并把binlog写入磁盘。


执行器调用引擎的提交事务接口,引擎把刚刚写入的redo log改成提交commit状态,更新完成。


到这里你应该就清晰了,一条更新SQL会先写redo log再写binlog,这也就是标题为什么叫一生挚友redo log、binlog。


image.png


四、为什么需要两阶段提交

是为了让redo log跟binlog两份日志之间的逻辑一致,看下面俩种情况。


先写redo log后写binlog


更新语句为age = age +1

将数据写入redo log,MySQL进程异常重启

  • 此时binlog还没有开始写
  • 系统重启后进行数据恢复此时的值为26
  • 需要搭建从库时需要拿binlog进行恢复数据,但此时age = age +1 这行的操作是没有记录到binlog的
  • 那么此时的从库就会少这一次的更新,恢复出来的age依然是25,造成于主库数据不一致。

先写binlog后写redo log


  • 更新语句为age = age +1
  • 将数据写入binlog,MySQL异常重启
  • 此时redo log 还没写
  • MySQL系统重启,这个更新操作是对于redo log是不存在的,所以重启后的值依然是25
  • 但binlog 中的值已将是26了
  • 需要搭建从库时,从库的值是26,主库的值是25,造成主从数据不一致

所以说,如果不使用两阶段提交,那么原库和用它的binlog日志恢复出来的库数据是不一致的。


五、《孔乙己》让你明白redo log是什么

来看一个初中九年级语文课文中《孔乙己》这篇文章,就算不记得内容,标题总记得哈!


这个案例也是看丁老师文章中提到的,为什么丁老可以灵活的使用这个案例来讲redo log而我们想不到呢?


其本质原因是对知识点没有理解透彻,使用生活案例来解释技术是让人最容易理解并不难遗忘的。


《孔乙己》中的主人公就叫他酒店掌柜,掌柜的有俩件法宝让比其他老板工作效率高很多。一个是小黑板另一个是账本。


试想一下如果有客人要赊账,是直接写到黑板效率高,还是翻密密麻麻的账本来的快呢?


掌柜肯定会选择先记录到黑板上,等人少或者不忙时再把黑板的记录写到账本中。


反之老板没有黑板的话,只能在密密麻麻的账本中先找到赊账人的名字,如果之前有赊账记录追加,找了一遍发现没有才进行新增。


这个过程不仅繁琐而且效率低的让人难以接受,如果酒店客人多老板是记录不过来的。


同样,在MySQL中也会存在这个问题,每次执行更新语句都需要先找到那条记录,然后再更新,整个过程IO成本、查找成本都很高。所以MySQL也利用了酒店掌柜的智慧使用黑板来提升执行效率。


画一幅图让大家能更好的理解掌柜、黑板、在MySQL中的对应关系。


image.png


六、redo log参数详解

事务的持久性就是通过重做日志来实现的。


当提交事务之后,并不是直接修改数据库的数据的,而是先保证将相关的操作记录到redo日志中。


数据库会根据相应的机制将内存的中的脏页数据刷新到磁盘中。


image.png


上图是一个简单的重做日志写入流程。


在上图中提到俩个陌生概念,Buffer pool、redo log buffer,这个俩个都是Innodb存储引擎的内存区域的一部分。


而redo log file是位于磁盘位置。


也就说当有DML(insert、update、delete)操作时,数据会先写入Buffer pool,然后在写到重做日志缓冲区。


重做日志缓冲区会根据刷盘机制来进行写入重做日志中。


这个机制的设置参数为innodb_flush_log_at_trx_commit,参数分别为0,1,2


image.png


上图即为重做日志的写入策略。


当这个参数的值为0的时,提交事务之后,会把数据存放到redo log buffer中,然后每秒将数据写进磁盘文件

当这个参数的值为1的时,提交事务之后,就必须把redo log buffer从内存刷入到磁盘文件里去,只要事务提交成功,那么redo log就必然在磁盘里了。

当这个参数的值为2的情况,提交事务之后,把redo log buffer日志写入磁盘文件对应的os cache缓存里去,而不是直接进入磁盘文件,1秒后才会把os cache里的数据写入到磁盘文件里去。

服务器异常停止对事务如何应对(事务写入过程)


当参数为0时,前一秒的日志都保存在日志缓冲区,也就是内存上,如果机器宕掉,可能丢失1秒的事务数据。

当参数为1时,数据库对IO的要求就非常高了,如果底层的硬件提供的IOPS比较差,那么MySQL数据库的并发很快就会由于硬件IO的问题而无法提升。

当参数为2时,数据是直接写进了os cache缓存,这部分属于操作系统部分,如果操作系统部分损坏或者断电的情况会丢失1秒内的事务数据,这种策略相对于第一种就安全了很多,并且对IO要求也没有那么高。

小结


关于性能:0>2>1


关于安全:1>2>0


根据以上结论,所以说在MySQL数据库中,刷盘策略默认值为1,保证事务提交之后,数据绝对不会丢失。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
8天前
|
存储 SQL 关系型数据库
mysql 的ReLog和BinLog区别
MySQL中的重做日志(Redo Log)和二进制日志(Binary Log)是两种重要的日志系统。重做日志主要用于保证事务的持久性和原子性,通过记录数据页的物理修改信息来恢复未提交的事务更改。二进制日志则记录了数据库的所有逻辑变化操作,用于数据的复制、恢复和审计。两者在写入时机、存储方式、配置参数和使用范围上有所不同,共同确保了数据库的稳定性和可靠性。
|
29天前
|
SQL 存储 关系型数据库
美团面试:binlog、redo log、undo log的底层原理是什么?它们分别实现ACID的哪个特性?
老架构师尼恩在其读者交流群中分享了关于 MySQL 中 redo log、undo log 和 binlog 的面试题及其答案。这些问题涵盖了事务的 ACID 特性、日志的一致性问题、SQL 语句的执行流程等。尼恩详细解释了这些日志的作用、所在架构层级、日志形式、缓存机制以及写文件方式等内容。他还提供了多个面试题的详细解答,帮助读者系统化地掌握这些知识点,提升面试表现。此外,尼恩还推荐了《尼恩Java面试宝典PDF》和其他技术圣经系列PDF,帮助读者进一步巩固知识,实现“offer自由”。
美团面试:binlog、redo log、undo log的底层原理是什么?它们分别实现ACID的哪个特性?
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1620 14
|
23天前
|
存储 关系型数据库 MySQL
MySQL中的Redo Log、Undo Log和Binlog:深入解析
【10月更文挑战第21天】在数据库管理系统中,日志是保障数据一致性和完整性的关键机制。MySQL作为一种广泛使用的关系型数据库管理系统,提供了多种日志类型来满足不同的需求。本文将详细介绍MySQL中的Redo Log、Undo Log和Binlog,从背景、业务场景、功能、底层实现原理、使用措施等方面进行详细分析,并通过Java代码示例展示如何与这些日志进行交互。
41 0
|
10天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
110 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
1月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
211 3
|
3月前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
129 3
|
1月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
30 0
|
1月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
182 0
|
1月前
|
存储 分布式计算 NoSQL
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
39 0