MySQL事务隔离与undo log、MVCC的亲密关系(下)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: MySQL事务隔离与undo log、MVCC的亲密关系

5 多版本并发控制(MVCC)


使InnoDB支持一致性读:


  • READ COMMITTED
  • REPEATABLE READ、


让查询不被阻塞、无需等待被其他事务持有的锁,可以增加并发度。


InnoDB保留被修改行的旧版本。查询正在被其他事务更新的数据时,会读取更新之前的版本。每行数据都存在一个版本号,每次更新时都更新该版本。


聚簇索引的更新=替换更新

二级索引的更新=删除+新建


6 事务启动方式

6.1 显式启动事务、

begin 或 start transaction 开启事务:

  • 提交语句 commit
  • 回滚语句 rollback

6.2 set autocommit=1

set autocommit=0 

将该线程的自动提交关闭。如果你只执行一个select,事务就启动了,且不会自动提交。

该事务会持续存在,直到主动执行commit 或 rollback,或断开连接。


有些客户端连接框架会默认连接成功后先执行

set autocommit=0

导致接下来的查询都在事务中,若是长连接,就导致意外的长事务。

因此建议总用

set autocommit=1

显式启动事务。


频繁事务的业务,第二种方式每个事务在开始时都不需要主动执行一次 “begin”,减少了语句交互次数。如果你也有这个顾虑,建议使用commit work and chain。


autocommit为1时,用begin显式启动的事务,若执行commit,则提交事务。

若执行 commit work and chain,则是提交事务并自动启动下个事务,省去执行begin语句的开销。从程序开发的角度也能明确知道每个语句是否处于事务。


7 查询长事务


information_schema库的innodb_trx表中查询长事务


  • 查找持续时间超过60s的事务。
select * from information_schema.innodb_trx where
TIME_TO_SEC(timediff(now(),trx_started))>60

8 日备 V.S 周备

好处是“最长恢复时间”更短。


  • 一天一备
    最坏情况下需要应用一天的binlog。比如,你每天0点做一次全量备份,而要恢复出一个到昨天晚上23点的备份


  • 一周一备
    最坏情况就要应用一周的binlog啦!


系统的对应指标是RTO(恢复目标时间)。

当然这个是有成本的,因为更频繁全量备份需要消耗更多存储空间,所以这个RTO是成本换来的,需要根据业务评估。


9 避免长事务对业务的影响


长事务意味着系统里面会存在很老的事务视图。由于这些事务随时可能访问db里的任何数据,所以该事务提交之前,db里它可能用到的回滚记录都必须保留,导致大量占存储。


在MySQL 5.5及以前,undo log是跟数据字典一起放在ibdata文件,即使长事务最终提交,回滚段被清理,文件也不会变小。


除了对回滚段影响,长事务还占用锁资源,可能拖慢全库。



9.1 应用开发端


确认是否使用

set autocommit=0

确认可在测试环境中,把MySQL的general_log开启,随便跑个业务逻辑,通过general_log确认。

一般框架如果设置该值,也会提供参数来控制,目标就是把它改成1。


确认是否有不必要的只读事务。有些框架不管什么语句先begin/commit框。有些是业务并没有这需要,但也把好几个select语句放到事务。这种只读事务可以去掉。


业务连接数据库时,根据业务预估,通过SET MAX_EXECUTION_TIME命令,控制每个语句执行最长时间,避免单语句意外执行太长时间。


9.2 数据库端

监控 information_schema.Innodb_trx表,设置长事务阈值,超过就报警/或者kill。


Percona的pt-kill这个工具不错,推荐。


在业务功能测试阶段要求输出所有的general_log,分析日志行为提前发现问题。

使用的MySQL 5.6或更新版本,把innodb_undo_tablespaces设置成2或更大值。如果真的出现大事务导致回滚段过大,这样设置后清理起来更方便。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
4月前
|
存储 SQL 关系型数据库
mysql底层原理:索引、慢查询、 sql优化、事务、隔离级别、MVCC、redolog、undolog(图解+秒懂+史上最全)
mysql底层原理:索引、慢查询、 sql优化、事务、隔离级别、MVCC、redolog、undolog(图解+秒懂+史上最全)
mysql底层原理:索引、慢查询、 sql优化、事务、隔离级别、MVCC、redolog、undolog(图解+秒懂+史上最全)
|
2月前
|
SQL 运维 关系型数据库
深入探讨MySQL的二进制日志(binlog)选项
总结而言,对MySQL binlogs深度理解并妥善配置对数据库运维管理至关重要;它不仅关系到系统性能优化也是实现高可靠性架构设计必须考虑因素之一。通过精心规划与周密部署可以使得该机能充分发挥作用而避免潜在风险带来影响。
125 6
|
6月前
|
SQL 监控 关系型数据库
MySQL日志分析:binlog、redolog、undolog三大日志的深度探讨。
数据库管理其实和写小说一样,需要规划,需要修订,也需要有能力回滚。理解这些日志的作用与优化,就像把握写作工具的使用与运用,为我们的数据库保驾护航。
290 23
|
7月前
|
SQL 运维 关系型数据库
MySQL Binlog 日志查看方法及查看内容解析
本文介绍了 MySQL 的 Binlog(二进制日志)功能及其使用方法。Binlog 记录了数据库的所有数据变更操作,如 INSERT、UPDATE 和 DELETE,对数据恢复、主从复制和审计至关重要。文章详细说明了如何开启 Binlog 功能、查看当前日志文件及内容,并解析了常见的事件类型,包括 Format_desc、Query、Table_map、Write_rows、Update_rows 和 Delete_rows 等,帮助用户掌握数据库变化历史,提升维护和排障能力。
|
8月前
|
存储 SQL 关系型数据库
mysql的undo log、redo log、bin log、buffer pool
MySQL的undo log、redo log、bin log和buffer pool是确保数据库高效、安全和可靠运行的关键组件。理解这些组件的工作原理和作用,对于优化数据库性能和保障数据安全具有重要意义。通过适当的配置和优化,可以显著提升MySQL的运行效率和数据可靠性。
210 16
|
8月前
|
存储 SQL 关系型数据库
mysql的undo log、redo log、bin log、buffer pool
MySQL的undo log、redo log、bin log和buffer pool是确保数据库高效、安全和可靠运行的关键组件。理解这些组件的工作原理和作用,对于优化数据库性能和保障数据安全具有重要意义。通过适当的配置和优化,可以显著提升MySQL的运行效率和数据可靠性。
162 4
|
8月前
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
1054 0
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
3587 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
6月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
798 54

热门文章

最新文章

推荐镜像

更多