第10章 数据库恢复技术——复习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 第10章 数据库恢复技术——复习笔记

第10章 数据库恢复技术


复习笔记


一、事务的基本概念


01事务


事务是用户定义的一个数据库操作序列,这些操作要么全做,要么全不做,是一个不可分割的工作单位。

事务和程序是两个概念。一般地讲,一个程序中包含多个事务。

事务的开始与结束可以由用户显式控制。如果用户没有显式地定义事务,则由数据库管理系统按默认规定自动划分事务。在SOL中,定义事务的语句一般有三条:

BEGIN TRANSACTION;

COMMIT;

ROLLBACK;


02事务的ACID特性


1)原子性

事务是数据库的逻辑工作单位,事务中包括的诸操作要么都做,要么都不做。


2)一致性

事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态。


3)隔离性

一个事务的执行不能被其他事务干扰。即一个事务的内部操作及使用的数据对其他并发事务是隔离的,并发执行的各个事务之间不能互相干扰。


4)持续性

持续性也称永久性(Permanence),指一个事务一旦提交,它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其执行结果有任何影响。


03影响ACID特性的因素


1)多个事务并行运行时,不同事务的操作交叉执行。

2)事务在运行过程中被强行停止。


二、数据库恢复概述


计算机系统中硬件的故障、软件的错误、操作员的失误以及恶意的破坏仍是不可避免的,这些故障轻则造成运行事务非正常中断,影响数据库中数据的正确性,重则破坏数据库,使数据库中全部或部分数据丢失。因此数据库管理系统必须具有把数据库从错误状态恢复到某一已知的正确状态(亦称为一致状态或完整状态)的功能,这就是数据库的恢复。


三、故障的种类


01事务内部的故障


事务内部的故障有的是可以通过事务程序本身发现的,有的是非预期的,不能由事务程序处理。

事务故障意味着事务没有达到预期的终点(COMMIT或者显式的ROLLBACK),因此,数据库可能处于不正确状态。恢复程序要在不影响其他事务运行的情况下,强行回滚该事务,即撤销该事务已经作出的任何对数据库的修改,使得该事务好像根本没有启动一样。这类恢复操作称为事务撤销(UNDO)。


02系统故障


系统故障是指造成系统停止运转的任何事件,使得系统要重新启动。发生系统故障时,一些尚未完成的事务的结果可能已送入物理数据库,从而造成数据库可能处于不正确的状态。为保证数据一致性,需要清除这些事务对数据库的所有修改。


03介质故障


系统故障常称为软故障(soft crash),介质故障称为硬故障(hard crash)。硬故障指外存故障,如磁盘损坏、磁头碰撞,瞬时强磁场干扰等。这类故障将破坏数据库或部分数据库,并影响正在存取这部分数据的所有事务。这类故障比前两类故障发生的可能性小得多,但破坏性最大。


04计算机病毒


计算机病毒是一种人为的故障或破坏,是一些恶作剧者研制的一种计算机程序。这种程序与其他程序不同,它像微生物学所称的病毒一样可以繁殖和传播,并造成对计算机系统包括数据库的危害。


四、恢复的实现技术


01概述


恢复机制涉及的两个关键问题是:

1)如何建立冗余数据;

2)如何利用这些冗余数据实施数据库恢复。


数据转储


1)定义

转储即数据库管理员定期地将整个数据库复制到磁带、磁盘或其他存储介质上保存起来的过程。这些备用的数据称为后备副本(backup)或后援副本。


2)方法

当数据库遭到破坏后可以将后备副本重新装入,但重装后备副本只能将数据库恢复到转储时的状态,要想恢复到故障发生时的状态,必须重新运行自转储以后的所有更新事务。

转储是十分耗费时间和资源的,不能频繁进行。数据库管理员应该根据数据库使用情况确定一个适当的转储周期。


3)分类

转储按状态可分为静态转储和动态转储,按方式可分为海量转储和增量转储,数据分类方式如表10-1所示。

10-1 数据转储分类

转储方式

转储状态

动态转储

静态转储

海量转储

动态海量转储

静态海量转储

增量转储

动态增量转储

静态增量转储

静态转储

静态转储是在系统中无运行事务时进行的转储操作。静态转储简单,通过静态转储得到的一定是一个数据一致性的副本。但转储必须等待正运行的用户事务结束才能进行,新的事务必须等待转储结束才能执行,这会降低数据库的可用性。

动态转储

动态转储是指转储期间允许对数据库进行存取或修改,即转储和用户事务可以并发执行。动态转储可以克服静态转储的缺点,它不用等待正在运行的用户事务结束,也不会影响新事务的运行。但转储结束时后援副本上的数据并不能保证正确有效。必须把转储期间各事务对数据库的修改活动登记下来,建立日志文件(log file)。

海量转储

海量转储是指每次转储全部数据库。

增量转储

增量转储指每次只转储上一次转储后更新过的数据。

从恢复角度看,使用海量转储得到的后备副本进行恢复更方便些;但如果数据库很大,事务处理又十分频繁,而增量转储方式更实用更有效。


03登记日志文件


1)日志文件的格式和内容

日志文件是用来记录事务对数据库的更新操作的文件。日志文件主要有以下两种格式:

以记录为单位的日志文件

对于以记录为单位的日志文件,日志文件中需要登记的内容包括:各个事务的开始标记;各个事务的结束标记;各个事务的所有更新操作。

每个日志记录的内容主要包括:事务标识;操作的类型;操作对象;更新前数据的旧值;更新后数据的新值。

以数据块为单位的日志文件

日志记录的内容包括事务标识和被更新的数据块。


2)日志文件的作用

事务故障恢复和系统故障恢复必须用日志文件。

在动态转储方式中必须建立日志文件,后备副本和日志文件结合起来才能有效地恢复发生故障时的数据库。

在静态转储方式中,也可以建立日志文件。当数据库毁坏后可重新装入后提副本把数据库恢复到转储结束时刻的正确状态,然后利用日志文件,把已完成的事务进行重做处理,对故障发生时尚未完成的事务进行撤销处理。这样不必重新运行那些已完成的事务程序就可把数据库恢复到故障前某一时刻的正确状态。


3)登记日志文件

为保证数据库是可恢复的,登记日志文件时必须遵循两条原则:

登记的次序严格按并发事务执行的时间次序。

必须先写日志文件,后写数据库。


五、恢复策略


01事务故障的恢复


事务故障是指事务在运行至正常终止点前被终止,这时恢复子系统应利用日志文件撤销(UNDO)此事务已对数据库进行的修改。系统的恢复步骤是:

1)反向扫描日志文件(即从最后向前扫描日志文件),查找该事务的更新操作;

2)对该事务的更新操作执行逆操作,即将日志记录中更新前的值写入数据库;

3)继续反向扫描日志文件,查找该事务的其他更新操作,并做同样处理;

4)如此处理下去,直至读到此事务的开始标记,事务故障恢复就完成了。


02系统故障的恢复


系统故障的恢复是由系统在重新启动时自动完成的,不需要用户干预。系统的恢复步骤是:

1)正向扫描日志文件(即从头扫描日志文件),找出在故障发生前已经提交的事务,将其事务标识记入重做队列(REDO_LIST)。同时找出故障发生时尚未完成的事务,将其事务标识记入撤销队列(UNDO_LIST);

2)对撤销队列中的各个事务进行撤销(UNDO)处理;

3)对重做队列中的各个事务进行重做处理。


03介质故障的恢复


发生介质故障后,磁盘上的物理数据和日志文件被破坏,恢复方法是重装数据库,然后重做已完成的事务。

1)装入最新的数据库后备副本(离故障发生时刻最近的转储副本),使数据库恢复到最近一次转储时的一致性状态;

2)装入相应的日志文件副本(转储结束时刻的日志文件副本),重做已完成的事务。


六、具有检查点的恢复技术


具有检查点的恢复技术在日志文件中增加一类新的记录——检查点(check point)记录,增加一个重新开始文件,并让恢复子系统在登录日志文件期间动态地维护日志。


01检查点记录的内容


1)建立检查点时刻所有正在执行的事务清单;

2)这些事务最近一个日志记录的地址。

重新开始文件用来记录各个检查点记录在日志文件中的地址。


02动态维护日志文件的方法


动态维护日志文件的方法是,周期性地执行如下操作:建立检查点,保存数据库状态。具体步骤是:

1)将当前日志缓冲区中的所有日志记录写入磁盘的日志文件上;

2)在日志文件中写入一个检查点记录;

3)将当前数据缓冲区的所有数据记录写入磁盘的数据库中;

4)把检查点记录在日志文件中的地址写入一个重新开始文件。

恢复子系统可以定期或不定期地建立检查点保存数据库状态。检查点可以按照预定的一个时间间隔建立,也可以按照某种规则建立检查点。


03恢复步骤


系统使用检查点方法进行恢复的步骤是:

1)从重新开始文件中找到最后一个检查点记录在日志文件中的地址,由该地址在日志文件中找到最后一个检查点记录;

2)由该检查点记录得到检查点建立时刻所有正在执行的事务清单;

3)从检查点开始正向扫描日志文件;

(4)对UNDO_LIST中的每个事务执行UNDO操作,对REDO_LIST中的每个事务执行REDO操作。


七、数据库镜像


01定义


数据库镜像是指根据DBA的要求,自动把整个数据库或其中的关键数据复制到另一个磁盘上。每当主数据库更新时,DBMS自动把更新后的数据复制过去,即DBMS自动保证镜像数据与主数据库的一致性。


02用处


(1)用于数据库恢复

当出现介质故障时,可由镜像磁盘继续提供使用,同时 DBMS 自动利用镜像磁盘数据进行数据库的恢复,不需要关闭系统和重装数据库副本。


(2)提高数据库的可用性

在没有出现故障时,当一个用户对某个数据加排它锁进行修改时,其他用户可以读镜像数据库上的数据,而不必等待该用户释放锁。


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
数据库 索引
深入探索数据库索引技术:回表与索引下推解析
【10月更文挑战第15天】在数据库查询优化的领域中,回表和索引下推是两个核心概念,它们对于提高查询性能至关重要。本文将详细解释这两个术语,并探讨它们在数据库操作中的作用和影响。
58 3
|
1月前
|
数据库 索引
深入理解数据库索引技术:回表与索引下推详解
【10月更文挑战第23天】 在数据库查询性能优化中,索引的使用是提升查询效率的关键。然而,并非所有的索引都能直接加速查询。本文将深入探讨两个重要的数据库索引技术:回表和索引下推,解释它们的概念、工作原理以及对性能的影响。
80 3
|
7天前
|
存储 JSON NoSQL
学习 MongoDB:打开强大的数据库技术大门
MongoDB 是一个基于分布式文件存储的文档数据库,由 C++ 编写,旨在为 Web 应用提供可扩展的高性能数据存储解决方案。它与 MySQL 类似,但使用文档结构而非表结构。核心概念包括:数据库(Database)、集合(Collection)、文档(Document)和字段(Field)。MongoDB 使用 BSON 格式存储数据,支持多种数据类型,如字符串、整数、数组等,并通过二进制编码实现高效存储和传输。BSON 文档结构类似 JSON,但更紧凑,适合网络传输。
36 15
|
1月前
|
负载均衡 网络协议 数据库
选择适合自己的数据库多实例负载均衡技术
【10月更文挑战第23天】选择适合自己的数据库多实例负载均衡技术需要全面考虑多种因素。通过深入的分析和评估,结合自身的实际情况,能够做出明智的决策,为数据库系统的高效运行提供有力保障。
115 61
|
1月前
|
SQL Java 数据库连接
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率。本文介绍了连接池的工作原理、优势及实现方法,并提供了HikariCP的示例代码。
55 3
|
1月前
|
缓存 负载均衡 监控
数据库多实例的负载均衡技术深入
【10月更文挑战第23天】数据库多实例负载均衡技术是确保数据库系统高效运行的重要手段。通过合理选择负载均衡策略、实时监控实例状态、不断优化调整,能够实现资源的最优分配和系统性能的提升。在实际应用中,需要根据具体情况灵活运用各种负载均衡技术,并结合其他相关技术,以满足不断变化的业务需求。
|
1月前
|
Java 数据库连接 数据库
优化之路:Java连接池技术助力数据库性能飞跃
在Java应用开发中,数据库操作常成为性能瓶颈。频繁的数据库连接建立和断开增加了系统开销,导致性能下降。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接,显著减少连接开销,提升系统性能。文章详细介绍了连接池的优势、选择标准、使用方法及优化策略,帮助开发者实现数据库性能的飞跃。
33 4
|
1月前
|
Java 数据库连接 数据库
深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能
在Java应用开发中,数据库操作常成为性能瓶颈。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能。文章介绍了连接池的优势、选择和使用方法,以及优化配置的技巧。
41 1
|
1月前
|
SQL Java 数据库连接
打破瓶颈:利用Java连接池技术提升数据库访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,避免了频繁的连接建立和断开,显著提升了数据库访问效率。常见的连接池库包括HikariCP、C3P0和DBCP,它们提供了丰富的配置选项和强大的功能,帮助优化应用性能。
72 2
|
2月前
|
存储 SQL NoSQL
数据库技术深度探索:从关系型到NoSQL的演变
【10月更文挑战第21天】数据库技术深度探索:从关系型到NoSQL的演变
90 1