Mysql的日志介绍

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: Mysql的日志介绍

正文


首先,日志的作用基本上就是记录一些用户的行为,让用户的操作可以进行追溯、可查看的效果。同理Mysql的日志也是起到了这个作用,不过在此的基础上,又增加了其他的新功能,比如利用日志信息完成一些事务的操作。介绍来介绍一下Mysql的日志的作用。


事务ACID的实现


我们先来介绍一下事务ACID的实现:

原子性:通过undo log实现

一致性:通过undo log和redo log共同实现

隔离性:通过锁机制和undo log实现

持久性:redo log实现

可以看到事务的ACID是通过redo log 和 undo log来实现的,下面我们首先介绍下这两种日志


Mysql日志类型


逻辑日志(存储了逻辑SQL修改语句)

物理日志(存储了数据被修改的值)


Redo Log(重做日志)


我们知道innoDB有个特性是缓冲池,缓冲池中的脏页(该page和磁盘数据不一致)数据会定期刷新到磁盘上。但是如果数据库宕机,并且插入缓冲中的数据还没有来得及刷新到磁盘上,这些内存中的脏页数据就会丢失,从而导致无法保证持久性。由此,mysql 引入了redo log来解决这个问题。这是redo log写入的流程是:

对数据进行修改时,先写入redo log,然后再更新到插入缓冲,保证数据不会因为宕机而丢失,保证持久性

当事务提交的时候会将redo log刷至磁盘持久化。

因为缓冲池每次刷脏页到磁盘是随机IO每次修改的数据是不确定的,且是以页为单位进行的,每次都要整页写入,所以整体速度比较慢,而redo log 是在页中追加,顺序IO并且每次都值写入修改的部分,IO量降低很多,速度较快


redo log由两部分组成:


redo log buffer

redo log file

InnoDB保证持久性的机制是 force log at commit:当事务commit时,先将事务的所有redo log buffer写入到redo log file进行持久化,才能commit成功。这就保证了整个事务的持久性。其中为了确保log buffer能写入到log file,每次都是通过fsync操作来去持久化的。


Undo Log


undo log主要被用于到实现事务的原子性和隔离性undo log属于逻辑日志


作用


保存了事务发生之前的数据版本,用于回滚(原子性)

提供了并发控制(MVCC)(隔离性)

undo log和redo log正好相反,undo log记录的是数据发生修改之前的信息,并且记录的是逻辑变化,比如要执行一个delete操作,那么undo log记录的就是一个insert操作,执行一个update操作,那么undo log记录的是一个反向的update操作。

隔离性原理


隔离性也就是事务内的查询不会查询到其他事务的修改,也就是事务之间互相隔离。

undo log被innoDB引擎用于了多版本并发控制。

innoDB通过undo log保存了已更改的行数据的旧版本的数据快照,这样undo log中的数据可以作为旧版本数据快照供其他事务读取,来达到一个隔离性的目的。


Binlog


binlog是Mysql Server层维护的一个二进制日志,和binlog不一样的是redo log和undo log都是innoDB引擎层面的实现。使用场景

主从复制:Mysql Replication在master端开启binlog,然后slave通过拉取复制master的binlog日志到salve,来完成主从同步复制。

数据恢复:生成binlog文件之后,我们可以通过mysqlbinlog工具恢复数据。


binlog的3种日志格式


ROW 格式


ROW格式记录的是每一行实际的数据变更,然后savle再将相同的数据进行修改来达到一致性。优点:binlog不需要记录上下文信息,只需要保存对应的行的数据修改即可。所以这种模式下会记录数据的修改细节,不会受到系统函数变量或者存储过程的影响导致无法正确复制的问题缺点:因为会记录下所有的数据变更,所以当修改量大的时候产生的日志比较大。


STATEMENT 格式


STATEMENT格式会记录每一行数据修改的sql,然后salve通过执行sql来同步数据。优点:首先是解决了ROW格式的缺点,不需要记录每一行的数据变化,只需要记录sql语句和上下文信息即可,减少了binlog日志的量。缺点:因为只记录了sql语句,当sql中使用了某些特定的函数:比如当前时间和随机数的时候,在salve再次执行的时候很大可能会造成主从不一致的问题。


MIXED 格式


Mixed格式下,Mysql会根据具体执行的每一条sql来区分对待记录的日志格式,在Statement和Row之间选择一种合适的格式。如果sql语句就是简单的insert或者update就会记录具体的行变更。

上面简单的介绍了Mysql的一些基本的日志的,每一种日志都会有不同的作用,同时数据库的隔离级别以及它的ACID的特性都是用一些日志加上它自己的锁机制来实现的。到这里基本上一个简单的介绍的过程就结束了,谢谢大家的阅读。


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
15天前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
|
30天前
|
SQL 存储 关系型数据库
Mysql并发控制和日志
通过深入理解和应用 MySQL 的并发控制和日志管理技术,您可以显著提升数据库系统的效率和稳定性。
115 10
|
26天前
|
安全 关系型数据库 MySQL
MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!
《MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!》介绍了MySQL中的三种关键日志:二进制日志(Binary Log)、重做日志(Redo Log)和撤销日志(Undo Log)。这些日志确保了数据库的ACID特性,即原子性、一致性、隔离性和持久性。Redo Log记录数据页的物理修改,保证事务持久性;Undo Log记录事务的逆操作,支持回滚和多版本并发控制(MVCC)。文章还详细对比了InnoDB和MyISAM存储引擎在事务支持、锁定机制、并发性等方面的差异,强调了InnoDB在高并发和事务处理中的优势。通过这些机制,MySQL能够在事务执行、崩溃和恢复过程中保持
62 3
|
1月前
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
2月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的全量日志文件
MySQL全量日志记录所有操作的SQL语句,默认禁用。启用后,可通过`show variables like %general_log%检查状态,使用`set global general_log=ON`临时开启,执行查询并查看日志文件以追踪SQL执行详情。
|
2月前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
233 6
|
2月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的慢查询日志
MySQL的慢查询日志用于记录执行时间超过设定阈值的SQL语句,帮助数据库管理员识别并优化性能问题。通过`mysqldumpslow`工具可查看日志。本文介绍了如何检查、启用及配置慢查询日志,并通过实例演示了慢查询的记录与分析过程。
246 3
|
26天前
|
存储 Oracle 关系型数据库
数据库传奇:MySQL创世之父的两千金My、Maria
《数据库传奇:MySQL创世之父的两千金My、Maria》介绍了MySQL的发展历程及其分支MariaDB。MySQL由Michael Widenius等人于1994年创建,现归Oracle所有,广泛应用于阿里巴巴、腾讯等企业。2009年,Widenius因担心Oracle收购影响MySQL的开源性,创建了MariaDB,提供额外功能和改进。维基百科、Google等已逐步替换为MariaDB,以确保更好的性能和社区支持。掌握MariaDB作为备用方案,对未来发展至关重要。
55 3
|
26天前
|
SQL 关系型数据库 MySQL
数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog
《数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog》介绍了如何利用MySQL的二进制日志(Binlog)恢复误删除的数据。主要内容包括: 1. **启用二进制日志**:在`my.cnf`中配置`log-bin`并重启MySQL服务。 2. **查看二进制日志文件**:使用`SHOW VARIABLES LIKE 'log_%';`和`SHOW MASTER STATUS;`命令获取当前日志文件及位置。 3. **创建数据备份**:确保在恢复前已有备份,以防意外。 4. **导出二进制日志为SQL语句**:使用`mysqlbinlog`
83 2
|
1月前
|
关系型数据库 MySQL 数据库
Python处理数据库:MySQL与SQLite详解 | python小知识
本文详细介绍了如何使用Python操作MySQL和SQLite数据库,包括安装必要的库、连接数据库、执行增删改查等基本操作,适合初学者快速上手。
260 15