聊多版本并发控制(MVCC)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: MVCC是数据库并发控制技术,用于减少读写冲突。它维护数据的多个版本,使事务能读旧数据而写新数据,无需锁定记录。当前读获取最新版本,加锁防止修改;快照读不加锁,根据读取时的读视图(readview)决定读哪个版本。InnoDB通过隐藏字段(DB_TRX_ID, DB_ROLL_PTR)和undo log存储版本,readview记录活跃事务ID。读已提交每次读取都创建新视图,可重复读则在整个事务中复用一个视图,确保一致性。MVCC通过undo log版本链和readview规则决定事务可见性,实现了非阻塞并发读。

多版本并发控制(MVCC)

MVCC一直是数据库部分的高频面试题,这篇文章来聊聊MVCC是什么,以及一些底层原理的实现。

当前读和快照读:

  • 当前读:读取的是事务最新的版本,读取的过程中其他并发事务不能进行修改,需要对读取的记录进行加锁。
  • 快照读:不加任何锁的select语句就是快照读。假如在可重复读隔离级别下,事务A进行select先后两次读取,而事务B在两次读取过程中修改了数据并提交了事务,那么事务A读到的就不是最新版本的数据。如果想读到最新版本的数据,需要在读取的过程中加锁,如select ... lock in share mode.
    • 读已提交隔离级别下:每次select都是一次快照读,因为每次读都可能读取到的是其他事务已经提交的增删改操作
    • 可重复读隔离级别下:开启事务后第一次select才是快照读,因为其后的select读取不到其他事务提交的增删改操作
    • 串行化隔离级别下:每次select都是一次当前读,因为每次读取都会加锁

MVCC的概念:

  • MVCC即多版本并发控制,维护一个数据的多个版本,使得不同事务之间的读写操作没有冲突。
  • 什么是版本:一行记录修改前和修改后就是两个不同的版本。

MVCC的实现原理:

  • MVCC依靠三样东西来实现:隐藏字段undo logreadview
  • 创建一个表的时候InnoDB会给表加上三个隐藏字段**DB_TRX_IDDB_ROLL_PTRDB_ROLL_ID**
    • DB_TRX_ID:最近一次修改这一行记录的事务的id。比如DB_TRX_ID = 4,表示最近一次修改这行 记录的事务是4。
    • DB_ROLL_PTR:回滚指针,指针指向这行记录的上一个版本,用于配合undo log回滚日志来找到这行记录的上一个版本(执行增删改之前的版本)
    • DB_ROLL_ID:隐藏主键。如果表没有指定主键的时候会自动生成。如果已经指定了主键,就不会生成。

image-20240330182341116.png

  • undo log:在insert的时候,undo log只在回滚的时候需要,在事务提交后可以立即删除,不需要记录上一个版本该行的数据(因为上一版本该行不存在;在updatedelete的时候,不仅回滚的时候需要,多版本并发控制的时候也需要用来记录上一数据版本,用于多版本并发控制,因此事务提交后也不会立即删除。
    • undo log版本链

image-20240330192626725.png

  • readview:每次事务执行快照读都有可能会生成readview。决定快照读读取的是undo log版本链中的哪一条历史记录。readview记录的是当前活跃中(未提交)的事务的id,包含以下四个字段:
    • m_ids:当前正在活跃中的事务的集合
    • min_trx_id:最小的活跃中的事务id
    • max_trx_id:不是当前正在活跃中的事务集合的最大id,而是预分配的事务id,即最大活跃中的事务id+1(因为事务id是自增的,因此加一)
    • creator_trx_id:readview创建者的事务id
    • 版本链数据的访问规则:trx_id:undo log记录的当前事务的id,即隐藏字段DB_TRX_ID,用这个id去匹配下面的规则,如果符合其中某一条件,说明当前版本是可以读取的;如果不符合条件,说明这个版本的数据不能读,就会顺着版本链去寻找更老的版本的数据
      • 如果trx_id = creator_trx_id:说明数据就是当前事务修改的,因此是可以读取到的
      • 如果trx_id < min_trx_id:说明当前事务不是活跃中的事务(已经提交),已提交的数据版本是可以读取到的
      • 如果trx_id > max_trx_id:说明当前事务是在readview生成后才开启的(?),因此不可以访问该版本的数据
      • 如果min_trx_id < trx_id <= max_trx_id且 trx_id不属于活跃中的事务的集合,说明该事务数据已经提交,已提交的数据版本是可以读取到的
      • readview的生成时机:不同隔离级别生成时机不同。如果是读已提交隔离级别,那么在事务中每次执行快照读都会生成readview;如果是可重复读隔离级别,那么只在事务第一次执行快照读的时候生成readview,后续会复用这个readview

MVCC演示:

  • 读已提交隔离级别:在这种隔离级别下,每一次快照读都会生成一个readview,在事务5中,第一次快照读会有三个活跃中的事务3、4、5;第二次快照读由于事务3已经提交,因此只有两个活跃中的事务4和5。
    • 第一次快照读,此时有三个活跃中的事务3、4、5;
      • 最近一次对id = 30这行记录进行修改的事务id是4,即trx_id = 4,均不符合版本链数据的访问规则,因此顺着版本链去寻找更老版本的数据,即trx_id = 3;
      • trx_id = 3,也均不符合版本链数据的访问规则,继续寻找trx_id = 2;
      • trx_id = 2时,符合第二条规则,trx_id(2) < min_trx_id(3),小于最小的正在活跃中的事务id,说明trx_id = 2这个事务已经提交了,结合读已提交隔离级别的宏观理解,并发事务是可以读取到其他事务已经提交的数据的,因此查询结果就是trx_id = 2对应的版本
    • 第二次快照读,此时有两个活跃中的事务4、5。
      • 最近一次对id = 30这行记录进行修改的事务id是4,即trx_id = 4,均不符合版本链数据的访问规则,因此顺着版本链去寻找更老版本的数据,即trx_id = 3;
      • trx_id = 3时,符合第二条规则,trx_id(3) < min_trx_id(4),小于最小的正在活跃中的事务id,说明trx_id = 3这个事务已经提交了,结合读已提交隔离级别的宏观理解,并发事务是可以读取到其他事务已经提交的数据的,因此查询结果就是trx_id = 3对应的版本

image-20240330205128148.png

可重复读隔离级别:在这种隔离级别下,只在事务第一次执行快照读的时候生成readview,后续再读取的时候会复用这个readview。以下过程和读已提交隔离级别的过程相同,唯一的区别是读已提交隔离级别两次执行快照读都会生成新的readview,因而两次读取的结果不同;而可重复读隔离级别两次执行快照读的readview都相同,因而读取结果相同。上述过程就是不可重复读的底层原理。

  • 第一次快照读,此时有三个活跃中的事务3、4、5;
    • 最近一次对id = 30这行记录进行修改的事务id是4,即trx_id = 4,均不符合版本链数据的访问规则,因此顺着版本链去寻找更老版本的数据,即trx_id = 3;
    • trx_id = 3,也均不符合版本链数据的访问规则,继续寻找trx_id = 2;
    • trx_id = 2时,符合第二条规则,trx_id(2) < min_trx_id(3),小于最小的正在活跃中的事务id,说明trx_id = 2这个事务已经提交了,结合读已提交隔离级别的宏观理解,并发事务是可以读取到其他事务已经提交的数据的,因此查询结果就是trx_id = 2对应的版本
  • 第二次快照读复用第一次采用的readview,因此读取结果相同。

image-20240330205350114.png

目录
相关文章
|
存储 关系型数据库 MySQL
MVCC多版本并发控制
MVCC多版本并发控制 1、MVCC MVCC,全称Multi-Version Concurrency Control,即多版本并发控制。MVCC是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问,在编程语言中实现事务内存。
605 0
|
存储 缓存 小程序
微信小程序如何获取微信昵称和头像
微信小程序如何获取微信昵称和头像
462 0
|
存储 关系型数据库 MySQL
MVCC:深入解析多版本并发控制机制
【4月更文挑战第20天】MVCC是数据库并发控制的关键技术,通过保存数据多个版本,使读写操作无锁并发,减少锁竞争,提高并发性能。它保证事务看到一致数据快照,避免并发问题,并支持事务回滚与恢复。MVCC广泛应用于PostgreSQL、InnoDB等,提供时间旅行查询和无锁读等功能,对于构建高性能、高并发数据库系统至关重要。
396 13
|
关系型数据库 MySQL 数据库
MySQL高级篇——MVCC多版本并发控制
什么是MVCC、快照读与当前读、隐藏字段、Undo Log版本链、ReadView、举例说明、InnoDB 解决幻读问题
MySQL高级篇——MVCC多版本并发控制
|
11月前
|
SQL 关系型数据库 PostgreSQL
遇到SQL 子查询性能很差?其实可以这样优化
遇到SQL 子查询性能很差?其实可以这样优化
478 2
|
消息中间件 存储 缓存
消息中间件系列教程(06) -RabbitMQ -五种队列形式
消息中间件系列教程(06) -RabbitMQ -五种队列形式
1075 1
|
数据采集 Python
揭秘淘宝商品信息:Python爬虫技术入门与实战指南
Python爬虫用于获取淘宝商品详情,依赖`requests`和`beautifulsoup4`库。安装这两个库后,定义函数`get_taobao_product_details`,发送GET请求模拟浏览器,解析HTML获取标题和价格。注意选择器需随页面结构更新,遵守爬虫政策,控制请求频率,处理异常,且数据只能用于合法目的。
|
消息中间件 存储 NoSQL
消息队列的对比及适配的应用场景
消息队列的对比及适配的应用场景
412 0
|
存储 供应链 安全
区块链技术的发展与应用前景
在当今数字化时代,区块链技术正逐渐成为各行各业关注的焦点。本文将从区块链技术的基本原理、发展历程和应用前景三个方面展开探讨。首先介绍了区块链技术的内涵和基本原理,然后回顾了其发展历程和在不同领域的应用情况,最后展望了区块链技术未来的发展趋势和应用前景。
496 0
|
物联网 监控 API
IoT平台设备标签功能和规则引擎组合最佳实践
助力设备管理,多维度检索,GIS展现
4093 0