MySQL事务隔离与undo log、MVCC的亲密关系(下)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: MySQL事务隔离与undo log、MVCC的亲密关系

5 多版本并发控制(MVCC)


使InnoDB支持一致性读:


  • READ COMMITTED
  • REPEATABLE READ、


让查询不被阻塞、无需等待被其他事务持有的锁,可以增加并发度。


InnoDB保留被修改行的旧版本。查询正在被其他事务更新的数据时,会读取更新之前的版本。每行数据都存在一个版本号,每次更新时都更新该版本。


聚簇索引的更新=替换更新

二级索引的更新=删除+新建


6 事务启动方式

6.1 显式启动事务、

begin 或 start transaction 开启事务:

  • 提交语句 commit
  • 回滚语句 rollback

6.2 set autocommit=1

set autocommit=0 

将该线程的自动提交关闭。如果你只执行一个select,事务就启动了,且不会自动提交。

该事务会持续存在,直到主动执行commit 或 rollback,或断开连接。


有些客户端连接框架会默认连接成功后先执行

set autocommit=0

导致接下来的查询都在事务中,若是长连接,就导致意外的长事务。

因此建议总用

set autocommit=1

显式启动事务。


频繁事务的业务,第二种方式每个事务在开始时都不需要主动执行一次 “begin”,减少了语句交互次数。如果你也有这个顾虑,建议使用commit work and chain。


autocommit为1时,用begin显式启动的事务,若执行commit,则提交事务。

若执行 commit work and chain,则是提交事务并自动启动下个事务,省去执行begin语句的开销。从程序开发的角度也能明确知道每个语句是否处于事务。


7 查询长事务


information_schema库的innodb_trx表中查询长事务


  • 查找持续时间超过60s的事务。
select * from information_schema.innodb_trx where
TIME_TO_SEC(timediff(now(),trx_started))>60

8 日备 V.S 周备

好处是“最长恢复时间”更短。


  • 一天一备
    最坏情况下需要应用一天的binlog。比如,你每天0点做一次全量备份,而要恢复出一个到昨天晚上23点的备份


  • 一周一备
    最坏情况就要应用一周的binlog啦!


系统的对应指标是RTO(恢复目标时间)。

当然这个是有成本的,因为更频繁全量备份需要消耗更多存储空间,所以这个RTO是成本换来的,需要根据业务评估。


9 避免长事务对业务的影响


长事务意味着系统里面会存在很老的事务视图。由于这些事务随时可能访问db里的任何数据,所以该事务提交之前,db里它可能用到的回滚记录都必须保留,导致大量占存储。


在MySQL 5.5及以前,undo log是跟数据字典一起放在ibdata文件,即使长事务最终提交,回滚段被清理,文件也不会变小。


除了对回滚段影响,长事务还占用锁资源,可能拖慢全库。



9.1 应用开发端


确认是否使用

set autocommit=0

确认可在测试环境中,把MySQL的general_log开启,随便跑个业务逻辑,通过general_log确认。

一般框架如果设置该值,也会提供参数来控制,目标就是把它改成1。


确认是否有不必要的只读事务。有些框架不管什么语句先begin/commit框。有些是业务并没有这需要,但也把好几个select语句放到事务。这种只读事务可以去掉。


业务连接数据库时,根据业务预估,通过SET MAX_EXECUTION_TIME命令,控制每个语句执行最长时间,避免单语句意外执行太长时间。


9.2 数据库端

监控 information_schema.Innodb_trx表,设置长事务阈值,超过就报警/或者kill。


Percona的pt-kill这个工具不错,推荐。


在业务功能测试阶段要求输出所有的general_log,分析日志行为提前发现问题。

使用的MySQL 5.6或更新版本,把innodb_undo_tablespaces设置成2或更大值。如果真的出现大事务导致回滚段过大,这样设置后清理起来更方便。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
8天前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
|
17天前
|
SQL 安全 关系型数据库
【MySQL基础篇】事务(事务操作、事务四大特性、并发事务问题、事务隔离级别)
事务是MySQL中一组不可分割的操作集合,确保所有操作要么全部成功,要么全部失败。本文利用SQL演示并总结了事务操作、事务四大特性、并发事务问题、事务隔离级别。
【MySQL基础篇】事务(事务操作、事务四大特性、并发事务问题、事务隔离级别)
|
3天前
|
SQL 存储 关系型数据库
MySQL进阶突击系列(05)突击MVCC核心原理 | 左右护法ReadView视图和undoLog版本链强强联合
2024年小结:感谢阿里云开发者社区每月的分享交流活动,支持持续学习和进步。过去五个月投稿29篇,其中17篇获高分认可。本文详细介绍了MySQL InnoDB存储引擎的MVCC机制,包括数据版本链、readView视图及解决脏读、不可重复读、幻读问题的demo演示。
|
19天前
|
安全 关系型数据库 MySQL
MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!
《MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!》介绍了MySQL中的三种关键日志:二进制日志(Binary Log)、重做日志(Redo Log)和撤销日志(Undo Log)。这些日志确保了数据库的ACID特性,即原子性、一致性、隔离性和持久性。Redo Log记录数据页的物理修改,保证事务持久性;Undo Log记录事务的逆操作,支持回滚和多版本并发控制(MVCC)。文章还详细对比了InnoDB和MyISAM存储引擎在事务支持、锁定机制、并发性等方面的差异,强调了InnoDB在高并发和事务处理中的优势。通过这些机制,MySQL能够在事务执行、崩溃和恢复过程中保持
47 3
|
23天前
|
SQL 关系型数据库 MySQL
MySQL进阶突击系列(04)事务隔离级别、AICD、CAP、BASE原则一直搞不懂? | 看这篇就够了
本文详细介绍了数据库事务的四大特性(AICD原则),包括原子性、隔离性、一致性和持久性,并深入探讨了事务并发问题与隔离级别。同时,文章还讲解了分布式系统中的CAP理论及其不可能三角关系,以及BASE原则在分布式系统设计中的应用。通过具体案例和图解,帮助读者理解事务处理的核心概念和最佳实践,为应对相关技术面试提供了全面的知识准备。
|
2月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
569 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
30天前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
|
3月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
385 3
|
1月前
|
存储 监控 安全
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
|
3月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1763 14
MySQL事务日志-Redo Log工作原理分析