Mysql的日志介绍

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: Mysql的日志介绍

正文


首先,日志的作用基本上就是记录一些用户的行为,让用户的操作可以进行追溯、可查看的效果。同理Mysql的日志也是起到了这个作用,不过在此的基础上,又增加了其他的新功能,比如利用日志信息完成一些事务的操作。介绍来介绍一下Mysql的日志的作用。


事务ACID的实现


我们先来介绍一下事务ACID的实现:

原子性:通过undo log实现

一致性:通过undo log和redo log共同实现

隔离性:通过锁机制和undo log实现

持久性:redo log实现

可以看到事务的ACID是通过redo log 和 undo log来实现的,下面我们首先介绍下这两种日志


Mysql日志类型


逻辑日志(存储了逻辑SQL修改语句)

物理日志(存储了数据被修改的值)


Redo Log(重做日志)


我们知道innoDB有个特性是缓冲池,缓冲池中的脏页(该page和磁盘数据不一致)数据会定期刷新到磁盘上。但是如果数据库宕机,并且插入缓冲中的数据还没有来得及刷新到磁盘上,这些内存中的脏页数据就会丢失,从而导致无法保证持久性。由此,mysql 引入了redo log来解决这个问题。这是redo log写入的流程是:

对数据进行修改时,先写入redo log,然后再更新到插入缓冲,保证数据不会因为宕机而丢失,保证持久性

当事务提交的时候会将redo log刷至磁盘持久化。

因为缓冲池每次刷脏页到磁盘是随机IO每次修改的数据是不确定的,且是以页为单位进行的,每次都要整页写入,所以整体速度比较慢,而redo log 是在页中追加,顺序IO并且每次都值写入修改的部分,IO量降低很多,速度较快


redo log由两部分组成:


redo log buffer

redo log file

InnoDB保证持久性的机制是 force log at commit:当事务commit时,先将事务的所有redo log buffer写入到redo log file进行持久化,才能commit成功。这就保证了整个事务的持久性。其中为了确保log buffer能写入到log file,每次都是通过fsync操作来去持久化的。


Undo Log


undo log主要被用于到实现事务的原子性和隔离性undo log属于逻辑日志


作用


保存了事务发生之前的数据版本,用于回滚(原子性)

提供了并发控制(MVCC)(隔离性)

undo log和redo log正好相反,undo log记录的是数据发生修改之前的信息,并且记录的是逻辑变化,比如要执行一个delete操作,那么undo log记录的就是一个insert操作,执行一个update操作,那么undo log记录的是一个反向的update操作。

隔离性原理


隔离性也就是事务内的查询不会查询到其他事务的修改,也就是事务之间互相隔离。

undo log被innoDB引擎用于了多版本并发控制。

innoDB通过undo log保存了已更改的行数据的旧版本的数据快照,这样undo log中的数据可以作为旧版本数据快照供其他事务读取,来达到一个隔离性的目的。


Binlog


binlog是Mysql Server层维护的一个二进制日志,和binlog不一样的是redo log和undo log都是innoDB引擎层面的实现。使用场景

主从复制:Mysql Replication在master端开启binlog,然后slave通过拉取复制master的binlog日志到salve,来完成主从同步复制。

数据恢复:生成binlog文件之后,我们可以通过mysqlbinlog工具恢复数据。


binlog的3种日志格式


ROW 格式


ROW格式记录的是每一行实际的数据变更,然后savle再将相同的数据进行修改来达到一致性。优点:binlog不需要记录上下文信息,只需要保存对应的行的数据修改即可。所以这种模式下会记录数据的修改细节,不会受到系统函数变量或者存储过程的影响导致无法正确复制的问题缺点:因为会记录下所有的数据变更,所以当修改量大的时候产生的日志比较大。


STATEMENT 格式


STATEMENT格式会记录每一行数据修改的sql,然后salve通过执行sql来同步数据。优点:首先是解决了ROW格式的缺点,不需要记录每一行的数据变化,只需要记录sql语句和上下文信息即可,减少了binlog日志的量。缺点:因为只记录了sql语句,当sql中使用了某些特定的函数:比如当前时间和随机数的时候,在salve再次执行的时候很大可能会造成主从不一致的问题。


MIXED 格式


Mixed格式下,Mysql会根据具体执行的每一条sql来区分对待记录的日志格式,在Statement和Row之间选择一种合适的格式。如果sql语句就是简单的insert或者update就会记录具体的行变更。

上面简单的介绍了Mysql的一些基本的日志的,每一种日志都会有不同的作用,同时数据库的隔离级别以及它的ACID的特性都是用一些日志加上它自己的锁机制来实现的。到这里基本上一个简单的介绍的过程就结束了,谢谢大家的阅读。


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
4
分享
相关文章
图解MySQL【日志】——Redo Log
Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。
27 5
图解MySQL【日志】——Redo Log
图解MySQL【日志】——两阶段提交
两阶段提交是为了解决Redo Log和Binlog日志在事务提交时可能出现的半成功状态,确保两者的一致性。它分为准备阶段和提交阶段,通过协调者和参与者协作完成。准备阶段中,协调者向所有参与者发送准备请求,参与者执行事务并回复是否同意提交;提交阶段中,若所有参与者同意,则协调者发送提交请求,否则发送回滚请求。MySQL通过这种方式保证了分布式事务的一致性,并引入组提交机制减少磁盘I/O次数,提升性能。
30 4
图解MySQL【日志】——两阶段提交
MySQL原理简介—7.redo日志的底层原理
本文介绍了MySQL中redo日志和undo日志的主要内容: 1. redo日志的意义:确保事务提交后数据不丢失,通过记录修改操作并在系统宕机后重做日志恢复数据。 2. redo日志文件构成:记录表空间号、数据页号、偏移量及修改内容。 3. redo日志写入机制:redo日志先写入Redo Log Buffer,再批量刷入磁盘文件,减少随机写以提高性能。 4. Redo Log Buffer解析:描述Redo Log Buffer的内存结构及刷盘时机,如事务提交、Buffer过半或后台线程定时刷新。 5. undo日志原理:用于事务回滚,记录插入、删除和更新前的数据状态,确保事务可完整回滚。
110 22
MySQL日志
本文介绍了MySQL中三个重要的日志:binlog、redolog和undolog。binlog记录数据库更改操作,支持数据恢复、复制和审计;redolog保证事务的原子性和持久性,实现crash-safe;undolog用于事务回滚及MVCC的实现。每个日志都有其独特的作用和应用场景,确保数据库的稳定性和数据一致性。
图解MySQL【日志】——磁盘 I/O 次数过高时优化的办法
当 MySQL 磁盘 I/O 次数过高时,可通过调整参数优化。控制刷盘时机以降低频率:组提交参数 `binlog_group_commit_sync_delay` 和 `binlog_group_commit_sync_no_delay_count` 调整等待时间和事务数量;`sync_binlog=N` 设置 write 和 fsync 频率,`innodb_flush_log_at_trx_commit=2` 使提交时只写入 Redo Log 文件,由 OS 择机持久化,但两者在 OS 崩溃时有丢失数据风险。
26 3
图解MySQL【日志】——Buffer Pool
Buffer Pool 是数据库管理系统(DBMS)中用于缓存磁盘数据页的内存区域,主要包含数据页、索引页、undo 页等。它通过减少磁盘 I/O 提升性能,特别是在处理大型数据库时效果显著。查询时,整个数据页而非单条记录会被加载到 Buffer Pool 中,以提高访问效率。
17 0
图解MySQL【日志】——Buffer Pool
图解MySQL【日志】——Undo Log
Undo Log(回滚日志)是 MySQL 中用于实现事务原子性和一致性的关键机制。在默认的自动提交模式下,MySQL 隐式开启事务,每条增删改语句都会记录到 Undo Log 中。其主要作用包括:
26 0
Docker Compose V2 安装常用数据库MySQL+Mongo
以上内容涵盖了使用 Docker Compose 安装和管理 MySQL 和 MongoDB 的详细步骤,希望对您有所帮助。
154 42
如何排查和解决PHP连接数据库MYSQL失败写锁的问题
通过本文的介绍,您可以系统地了解如何排查和解决PHP连接MySQL数据库失败及写锁问题。通过检查配置、确保服务启动、调整防火墙设置和用户权限,以及识别和解决长时间运行的事务和死锁问题,可以有效地保障应用的稳定运行。
97 25
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等