Redo日志 (5)—mysql进阶(六十三)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: Redo日志 (5)—mysql进阶(六十三)

前面说了lsn值就是log sequence number代表记录redo日志存了多少字节,默认值是8000多,算偏移量直接减一下就好,还有flush_to_disk的lsn值,这个值之前的数据代表都已经持久化,这个持久化代表redo日志持久化,但是对应的buffer pool数据还不能覆盖,这时候又checkpoint lsn值,这个值之前的数据都代表已经持久化完毕,是可以覆盖的。因为redo日志存储有限,存满之后,又会从第一个文件循环存储。可以用show engine innoDB status查看。

Redo日志 (4)—log sequence number(六十二)


innoDB_flush_log_at_trx_commit的用法


我们前面说过为了保证持久性,每次事务提交都会吧redo日志从buffer pool刷新到磁盘,但这样很明显会降低性能,我们可以选择修改innoDB_flush_log_at_trx_commit来自己设计:

0:当设置为0的时候,表示事务提交时候不会吧redo日志刷新到磁盘,只会在后台自己刷,这样就可能会导致,事务提交后,服务器挂了,后台线程没有及时刷新到磁盘,则就数据丢失。

1:当设置为1的时候,表示事务提交的时候需要刷新到磁盘,这也是系统默认的。

2:当设置为2的时候,表示事务提交需要将redo日志刷新到buffer pool缓冲区,这时候数据库挂了,操作系统没挂的话,事务持久性可以保证,但如果操作系统页挂了,则不能保证。


崩溃恢复


我们先要确定恢复的起点,我们前面说过checkpoint_lsn前面的数据都是刷新到磁盘的,所以之前的数据就没必要恢复了,所以起点就是从checkpont_lsn值开始。

当redo日志文件组第一个文件管理信息有两个block存了checkpoint_lsn信息,我们当然要选取最近发生的依次checkpoint信息。衡量checkpoint发生早晚主要通过checkpont_no,我们只要吧checkpoint1和checkpoint2 的checkpoint_no拿出来比较,谁的更大,说明是最近checkpoint。这样我们就能拿到对应的checkpoint_lsn和checkpoint_offset。


确定恢复的终点


前面我们说了block是循环使用的,log block header里有一个参数,log_block_hdr_data_len,当存满的时候,显示512字节,当有一个block不是512,就代表当前 block是恢复的终点。


怎么恢复


理论上我们只要在checkpoint_lsn值后面,按照日志记载的挨个进行恢复就行,但innoDB有更好的恢复办法。

使用哈希表:

根据redo日志的space id和page number计算出散列值,吧space id和page number相同的redo日志放入hash槽,如果有多个相同的,则把他们之间使用链表连接起来,按照先后顺序。

这样的好处是,一次性可以将一个页面恢复好,避免对同一个页面多次I/O,需要注意的时候,是严格按照时间顺序的,比如如果记录的是先删除,再增加,则就按这个时间顺序,不能先增加后删除。


跳过已经刷新到磁盘的页面


Checkpoint之前的值已经刷新到磁盘,但是checkpoint之后的值呢,因为后台线程在不断刷新flush链表和lru链表到磁盘。如果被刷新了,则没必要恢复。

那么怎么判断是否已经刷新过呢?我们前面说过每个页面都有一个file header,这里面有个file_page_lsn的属性,该属性记录了最后一次修改lsn的值(就是页面控制块newest_modification)。如果在checkpoint之后,又有数据被刷新到磁盘,那么file_page_lsn的值肯定大于checkpoint_lsn的值,那么满足这个条件的,都不需要恢复,又提升了速度。


Log_block_hdr_no


Log_block_hdr_no第一个比特位比较特殊,称为flush bit如果是1,代表本block是第一个被刷入到磁盘的block。

该值也在log_block_header中,代表唯一的标号,初次使用block分配的,计算该值的公式:

((lsn/512) & 0x 3FFFFFFFUL) + 1

后面的0x3FFFFFFFUL就是表示二进制。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
5天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
107 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
29天前
|
SQL 存储 关系型数据库
美团面试:binlog、redo log、undo log的底层原理是什么?它们分别实现ACID的哪个特性?
老架构师尼恩在其读者交流群中分享了关于 MySQL 中 redo log、undo log 和 binlog 的面试题及其答案。这些问题涵盖了事务的 ACID 特性、日志的一致性问题、SQL 语句的执行流程等。尼恩详细解释了这些日志的作用、所在架构层级、日志形式、缓存机制以及写文件方式等内容。他还提供了多个面试题的详细解答,帮助读者系统化地掌握这些知识点,提升面试表现。此外,尼恩还推荐了《尼恩Java面试宝典PDF》和其他技术圣经系列PDF,帮助读者进一步巩固知识,实现“offer自由”。
美团面试:binlog、redo log、undo log的底层原理是什么?它们分别实现ACID的哪个特性?
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1620 14
|
2天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的撤销日志文件和错误日志文件
本文介绍了MySQL的物理存储结构,重点讲解了InnoDB存储引擎中的撤销日志文件(undo log)和错误日志文件。从MySQL 8.0开始,默认生成两个10MB的undo表空间文件,并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题,通过示例展示了如何查看和使用这些日志。
|
23天前
|
存储 关系型数据库 MySQL
MySQL中的Redo Log、Undo Log和Binlog:深入解析
【10月更文挑战第21天】在数据库管理系统中,日志是保障数据一致性和完整性的关键机制。MySQL作为一种广泛使用的关系型数据库管理系统,提供了多种日志类型来满足不同的需求。本文将详细介绍MySQL中的Redo Log、Undo Log和Binlog,从背景、业务场景、功能、底层实现原理、使用措施等方面进行详细分析,并通过Java代码示例展示如何与这些日志进行交互。
41 0
|
10天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
110 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
1月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
211 3
|
3月前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
129 3
|
1月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
30 0
|
1月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
182 0