《数据库系统内 幕》事务恢复与处理

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 《数据库系统内 幕》事务恢复与处理

章五


第五章是本书中重要一章,有三节。是存储结构后的一些高级组件问题,包括缓冲区管理、锁管理和恢复。为了更方便的理解数据库事务。


缓冲区管理


页缓存


对于双层存储体系,磁盘的访问速度较慢,所以为了减少访问磁盘,页面被缓存在内存中。

当磁盘上的数据一直不被修改,就可以重用内存的缓存页,称为虚拟磁盘。但是当内存的副本满了,就会去访问磁盘,以上称为页缓存。

存储引擎请求页的时候,就是先看内存中有无缓存版本,有的话直接访问,没有的话去磁盘中,将逻辑地址和页号转换为物理地址,加载到内存,然后给存储引擎已缓存的版本。

脏页:页上的脏标志位表示内容与磁盘不同步,必须刷写至磁盘才能保证持久性。


回收


保持页缓存满的的状态较好。

持久性的维持:需要预写日志(WAL)和页缓存。因为若数据库崩溃则未刷写的数据会丢失,所以设置日志,只有刷写完成才丢弃日志记录。


预写日志、页缓存(缓存页刷写完成)-> 日志记录丢弃 -> 脏页换出缓存


锁定页


根据b树的数据结构,可以了解他是“矮胖”的形状,可以考虑到层次高的节点会在大多数读取中命中。同时在分裂合并操作中往往也会被命中。所以对于这些频率贼高的页可以进行“固定”。


页置换策略:同os中的置换策略。


FIFO:注意会产生belady异常。

LRU:最长时间未使用,如果每次维护一个队列,将页进行一个更换时,重新引用和链接节点代价较高。

CLOCK/CLOCK-sweep:(时钟页面置换算法)

LFU:最小频率算法。tinyLFU是基于频率的页置换策略,它不是选择换出的元素,选择的是要保留的元素形成一个保护队列,对于访问频率相对很高的元素在队列中进行长时间保留。采用了一个频率直方图来维护紧凑的缓存访问历史记录。

该策略里面有三个队列:

入场队列----考察队列----保护队列


fc2dc3057d414ba1b751f6033d0c1a99.png


恢复


通过预写日志这个仅追加的辅助磁盘数据结构,保证数据库系统有持久性语义。

WAL既保存单独的操作记录,又保存事务完成的记录。

系统在回滚或恢复期间为保证系统正常工作,会在撤销操作时记录补偿日志记录并将其存储在日志中。


检查点


检查点用来标记之前的日志记录已经不被需要了,减少了工作量。强制将所有脏页刷写到磁盘过程称为同步检查点。

因为全部刷写是不现实的,所以大多数数据库选择了模糊检查点。

日志头部用last——checkpoint指针记录最后一次成功的检查点信息。模糊检查点从begin-checkpoint记录开始到end-checkpoint结束。


steal和force策略(不太理解,要回看)


为了确定何时将内存的更改刷写到磁盘上,定义出来的策略。

steal策略是在事务提交之前允许刷写事务修改过的页。

no-sreal策略不允许将未提交的事务内容刷写到磁盘。

force策略要求在事务提交前将事务修改的所有页刷写到磁盘上。

no-force策略即使事务修改的页尚未刷写到磁盘上,也可以提交。

现在DBMS常用的是steal/no-force策略,因此一般都需要记录redo log和undo log。这样可以获得较快的运行时性能,代价就是在数据库恢复(recovery)的时候需要做很多的事情,增大了系统重启的时间。

数据库崩溃后重启时的恢复过程分为三个阶段:


分析阶段:识别页缓存中脏页和崩溃时进行的事务。

重做阶段:重放历史记录直到崩溃点。

撤销阶段:回滚所有未完成事务,还原到一致状态。防止再次崩溃,撤销事务操作也会记录到日志中。


并发控制


本章节研究的是本地的并发控制技术。

乐观并发控制:

允许多个事务并发的读取和写入,事务不会相互阻塞,而是保留记录,并在提交前检查这些历史记录是否冲突,如果产生冲突则终止某一个冲突事务。


多版本并发控制mvcc:

允许一条数据同时存在多个时间戳的版本,通过这种方式事务读到的是过去的某一时刻的一致的视图。后续的操作都是针对一个版本的数据进行的(这里的翻译非常混乱)。


悲观并发控制:

加锁的版本会要求维护数据库记录上的锁。不加锁的实现根据未完成事务调度,维护读写操作列表。


异常

并发执行事务期间会出现读异常和写异常:脏读、不可重复读、幻读;脏写、丢失更新、写偏斜。


脏读:读到未提交的数据,比如说前面的事务更新之后回滚,后面的事务就读到了未提交的数据。

不可重读:同一事务两次执行,读取到的数据不一致,t1读取一行,t2修改并提交,t1再次读取数据改变。

幻读:指的是两次范围读取获取的行集合不一样。


丢失更新:两个事务同时更新一个值,且都commit,则后提交的覆盖了前面提交的。

脏写:脏读情况下又修改。

写偏斜:单个事务满足一些约束,组合事务却违反了。


处理数据库死锁的几种方法:


1.引入超时机制并终止长时间运行的事务。


2.保守2PL(两阶段锁)。


数据库常使用等待图(waits-for graph实现)来检测或者避免死锁:


相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
SQL 关系型数据库 MySQL
乐观锁在分布式数据库中如何与事务隔离级别结合使用
乐观锁在分布式数据库中如何与事务隔离级别结合使用
188 5
|
5月前
|
中间件 关系型数据库 Go
Go语言数据库编程:数据迁移与事务控制
本文介绍了《Go语言实战指南》中关于数据库编程的核心内容,涵盖使用 GORM 进行数据迁移与事务控制。主要内容包括:AutoMigrate 方法自动创建或更新表结构;事务控制的自动与手动实现方式;事务隔离级别的设置;以及在 Gin 框架中统一管理事务的实践建议。适合开发阶段的数据库结构管理和事务性操作需求。
|
SQL 关系型数据库 MySQL
乐观锁在分布式数据库中如何与事务隔离级别结合使用
乐观锁在分布式数据库中如何与事务隔离级别结合使用
|
SQL 数据库 数据安全/隐私保护
SQL Server数据库Owner导致事务复制log reader job无法启动的解决办法
【8月更文挑战第14天】解决SQL Server事务复制Log Reader作业因数据库所有者问题无法启动的方法:首先验证数据库所有者是否有效并具足够权限;若非,使用`ALTER AUTHORIZATION`更改为有效登录名。其次,确认Log Reader使用的登录名拥有读取事务日志所需的角色权限。还需检查复制配置是否准确无误,并验证Log Reader代理的连接信息及参数。重启SQL Server Agent服务或手动启动Log Reader作业亦可能解决问题。最后,审查SQL Server错误日志及Windows事件查看器以获取更多线索。
208 0
|
8月前
|
SQL 数据库 索引
【YashanDB数据库】大事务回滚导致其他操作无法执行,报错YAS-02016 no free undo blocks
大事务回滚导致其他操作无法执行,报错YAS-02016 no free undo blocks
|
存储 SQL 关系型数据库
数据库事务:确保数据完整性的关键20
【7月更文挑战第20天】事务是数据库操作的基本逻辑单位,确保数据一致性。ACID原则包括:原子性(操作全成或全败),一致性(事务前后数据合法性),隔离性(并发操作互不影响),持久性(提交后更改永久保存)。MySQL的InnoDB引擎支持事务,通过undo log实现回滚,redo log确保数据持久化。开启事务可使用`BEGIN`或`START TRANSACTION`,提交`COMMIT`,回滚`ROLLBACK`。
341 70
|
11月前
|
SQL 存储 Java
数据库———事务及bug的解决
事务的一些概念,并发事务以及并发事务引起的bug,脏读,不可重复读,幻读,数据库中的隔离级别,事务的简单应用
|
数据库
什么是数据库的事务隔离级别,有什么作用
【10月更文挑战第21】什么是数据库的事务隔离级别,有什么作用
196 3
|
存储 关系型数据库 数据挖掘
什么是数据库的事务隔离级别
【10月更文挑战第21】什么是数据库的事务隔离级别
354 1
|
存储 数据库 数据库管理
数据库事务安全性控制如何实现呢
【10月更文挑战第15天】数据库事务安全性控制如何实现呢