Mysql事务实现原理

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 1)BinLog是Mysql本身就有的,不管使用哪种引擎,都会存在BinLog,而Redo Log是InnoDB引擎特有的。2)BinLog是一种逻辑日志,记录的是对数据库的所有修改操作,而RedoLog是一种物理日志,记录的是每个数据页的修改。3)BinLog具有幂等性,而Redo Log不具有幂等性。4)BinLog开启事务时,会将每次提交的事务一次性写入内存缓冲区,如果未开启事务,则每次成功执行插入、更新和删除语句时,就会将对应的事务信息写入内存缓冲区修改数据,而Redo Log是在数据准备之前将数据写入缓冲区的Redo Log中,然后在缓冲区中修改数据。而且在提交事务时,先将Re

一、Redo Log

Mysql中的事务的原子性和持久性是由Redo Log实现的。Redo Log也被称为重做日志。Redo通常用来记录物理日志。Redo Log包含两部分:

Redo Log Buffer:内存中的日志缓冲,易丢失

Redo Log File: 存放在磁盘中的重做日志,不易丢失

Redo Log四种刷盘规则:

1)通过innodb_flush_log_at_trx_commit决定,其中:

    1的性能最差,即使崩溃,也不会丢失日志

    0是每1s写入日志

    2是每秒写入到buffer中,然后通过fsync同步

2)通过刷新日志频率:innodb_flush_log_at_timeout的值决定

3)当Log Buffer中已经使用的内存超过一半时,也会触发

4)当事务中存在checkpoint时,在一定程度上代表刷写到磁盘日志所在的LSN位置

LSN:日志的逻辑序列号,占8个字节

二、Undo Log

Mysql的一致性由undo log实现的。undo log在Mysql事务的实现中主要作用:回滚事务多版本并发事务 MVCC在Mysql启动事务之前,会先将要修改的数据存储到undo log中。如果事务发生回滚或数据库崩溃,可以利用undo log对数据库中未提交的事务进行回滚操作,从而保证数据的一致性。undo log也会产生Redo Log。由于undolog的完整性和可靠性需要Redo Log来保证。数据库崩溃时,先做Redo Log数据恢复,然后做Undo Log 。

undo Log在Mysql中采用段的方式进行管理,在数据库文件中存在一种叫rollback segment的回滚段,在这个回滚段内部存在1024个undo log segment段。undolog默认存储在共享数据表空间中,默认为idata1文件中。

undo log回滚段中,undo logs分为:

insert undo log(插入)

update undo log(更新和删除)

MVCC:在数据表后面保存了两个隐藏列,保存行的创建版本、保存行的删除版本

DB_TRX_ID、DB_ROLL_PTR、DB_ROW_ID

三、BinLog

一种记录所有Mysql数据库表结构变更以及表数据变更的二进制日志。BinLog的使用场景:主从复制数据恢复

BinLog记录的模式:

row

statement

mixed

row模式:Row模式下的BinLog文件会记录每一行数据被修改情况,然后在mysql从数据库中对相同的数据进行修改。会记录每一行修改的情况。

statement模式:BinLog文件会记录每一条修改数据的Sql语句,Mysql从数据库在复制sql语句的时候,会通过sql进程将BinLog中的sql语句解析成和mysql主数据库执行过的sql语句相同的sql语句,然后在从数据库上执行sql进程解析出来的sql语句。记录数据修改的sql语句。

mixed模式:是row和statement模式的混合。

通常情况下,采用mixed模式mysql的BinLog文件中保存了数据库、数据库表和数据表中的数据的各种更新操作。用来表示修改操作的数据结构叫做日志事件。比较常见的日志事件:Query Event、Row Event、Xid Event等。

BinLog的写入机制:mysql事务提交的时候,会记录事务日志和BinLog日志。其中BinLog日志先于事务日志Redo Log。

根据日志记录模式和操作触发生成日志事件。

在InnoDB存储中,提交事务时,一般会进行两个阶段的操作。

1)修改内存中事务对应的信息,并将日志写入相应的Redo Log Buffer。

2)调用fsync()函数将Redo Log Buffer中的日志信息刷新到磁盘的Redo Log文件中。

四、Bin Log和Redo Log的区别

1)BinLog是Mysql本身就有的,不管使用哪种引擎,都会存在BinLog,而RedoLog是InnoDB引擎特有的。

2)BinLog是一种逻辑日志,记录的是对数据库的所有修改操作,而RedoLog是一种物理日志,记录的是每个数据页的修改。

3)BinLog具有幂等性,而RedoLog不具有幂等性。

4)BinLog开启事务时,会将每次提交的事务一次性写入内存缓冲区,如果未开启事务,则每次成功执行插入、更新和删除语句时,就会将对应的事务信息写入内存缓冲区修改数据,而RedoLog是在数据准备之前将数据写入缓冲区的RedoLog中,然后在缓冲区中修改数据。而且在提交事务时,先将RedoLog写入缓冲区,写入完成后再提交事务。

5)BinLog只会在事务提交时,一次性写入BinLog,其日志的记录方式与事务的提交顺序有关。

6)BinLog是追加写入。RedoLog是循环写入,日志空间的大小是固定的。

7)BinLog一般用于主从复制和数据恢复,并且不具备崩溃自动恢复的能力,而RedoLog是在服务器发生的故障后重启Mysql,用于恢复事务已提交但未写入数据表的数据。


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
26天前
|
存储 SQL 关系型数据库
MySQL的事务隔离级别
【10月更文挑战第17天】MySQL的事务隔离级别
97 43
|
23天前
|
存储 关系型数据库 MySQL
MySQL主从复制原理和使用
本文介绍了MySQL主从复制的基本概念、原理及其实现方法,详细讲解了一主两从的架构设计,以及三种常见的复制模式(全同步、异步、半同步)的特点与适用场景。此外,文章还提供了Spring Boot环境下配置主从复制的具体代码示例,包括数据源配置、上下文切换、路由实现及切面编程等内容,帮助读者理解如何在实际项目中实现数据库的读写分离。
MySQL主从复制原理和使用
|
1月前
|
缓存 算法 关系型数据库
Mysql(3)—数据库相关概念及工作原理
数据库是一个以某种有组织的方式存储的数据集合。它通常包括一个或多个不同的主题领域或用途的数据表。
50 5
Mysql(3)—数据库相关概念及工作原理
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1630 14
|
23天前
|
SQL 关系型数据库 MySQL
Mysql中搭建主从复制原理和配置
主从复制在数据库管理中广泛应用,主要优点包括提高性能、实现高可用性、数据备份及灾难恢复。通过读写分离、从服务器接管、实时备份和地理分布等机制,有效增强系统的稳定性和数据安全性。主从复制涉及I/O线程和SQL线程,前者负责日志传输,后者负责日志应用,确保数据同步。配置过程中需开启二进制日志、设置唯一服务器ID,并创建复制用户,通过CHANGE MASTER TO命令配置从服务器连接主服务器,实现数据同步。实验部分展示了如何在两台CentOS 7服务器上配置MySQL 5.7主从复制,包括关闭防火墙、配置静态IP、设置域名解析、配置主从服务器、启动复制及验证同步效果。
Mysql中搭建主从复制原理和配置
|
1月前
|
SQL 关系型数据库 MySQL
阿里面试:MYSQL 事务ACID,底层原理是什么? 具体是如何实现的?
尼恩,一位40岁的资深架构师,通过其丰富的经验和深厚的技術功底,为众多读者提供了宝贵的面试指导和技术分享。在他的读者交流群中,许多小伙伴获得了来自一线互联网企业的面试机会,并成功应对了诸如事务ACID特性实现、MVCC等相关面试题。尼恩特别整理了这些常见面试题的系统化解答,形成了《MVCC 学习圣经:一次穿透MYSQL MVCC》PDF文档,旨在帮助大家在面试中展示出扎实的技术功底,提高面试成功率。此外,他还编写了《尼恩Java面试宝典》等资料,涵盖了大量面试题和答案,帮助读者全面提升技术面试的表现。这些资料不仅内容详实,而且持续更新,是求职者备战技术面试的宝贵资源。
阿里面试:MYSQL 事务ACID,底层原理是什么? 具体是如何实现的?
|
2月前
|
存储 Oracle 关系型数据库
Oracle和MySQL有哪些区别?从基本特性、技术选型、字段类型、事务、语句等角度详细对比Oracle和MySQL
从基本特性、技术选型、字段类型、事务提交方式、SQL语句、分页方法等方面对比Oracle和MySQL的区别。
499 18
Oracle和MySQL有哪些区别?从基本特性、技术选型、字段类型、事务、语句等角度详细对比Oracle和MySQL
|
1月前
|
SQL 缓存 关系型数据库
MySQL Limit实现原理
本文详细探讨了MySQL中`LIMIT`子句的实现原理及其在不同场景下的应用。`LIMIT`用于控制查询结果的行数,结合`OFFSET`可实现分页查询。其内部实现涉及解析器、优化器和执行器三部分,通过索引利用、子查询优化等提升性能。文章还提供了性能优化策略,如索引优化、覆盖索引及延迟关联等,并给出实践建议。
65 3
|
1月前
|
存储 SQL 关系型数据库
mysql中主键索引和联合索引的原理与区别
本文详细介绍了MySQL中的主键索引和联合索引原理及其区别。主键索引按主键值排序,叶节点仅存储数据区,而索引页则存储索引和指向数据域的指针。联合索引由多个字段组成,遵循最左前缀原则,可提高查询效率。文章还探讨了索引扫描原理、索引失效情况及设计原则,并对比了InnoDB与MyISAM存储引擎中聚簇索引和非聚簇索引的特点。对于优化MySQL性能具有参考价值。
|
2月前
|
SQL 关系型数据库 MySQL
MySQL基础:事务
本文详细介绍了数据库事务的概念及操作,包括事务的定义、开启、提交与回滚。事务作为一组不可分割的操作集合,确保了数据的一致性和完整性。文章还探讨了事务的四大特性(原子性、一致性、隔离性、持久性),并分析了并发事务可能引发的问题及其解决方案,如脏读、不可重复读和幻读。最后,详细讲解了不同事务隔离级别的特点和应用场景。
142 4
MySQL基础:事务