MySQL日志管理和完全备份增量备份与恢复(二)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: MySQL日志管理和完全备份增量备份与恢复(二)

2.3完全恢复

前面介绍了数据库的完全备份,使用mysqldump工具可以把数据库的创建语句保存在备份的脚本文件中,当数据出现错误时可以使用以下几种方式对他进行恢复操作。

当需要恢复整库的时候,可以使用source命令和mysql命令。


2.3.1使用source命令整库恢复

主要命令格式:

先登录MySQL后,可以进行source命令进行数据库整库恢复,命令格式如下:


source 备份脚本的路径

整体操作


#先备份school数据库
mysqldump -uroot -p --databases school > /opt/school.sql
#查看数据库
show databases;
#删除school数据库
drop database school;
#使用source 恢复数据
source /opt/school.sql
当备份时加--databases 表示针对于school库
当备份时不加--databases 表示针对school库下的所有表
当你使用不加--databases 备份时,你恢复数据时需先创建一个当时库同名的库在进行淮阜否则会报错
主要原因在于俩种方式的备份:
前者会从create databases开始
后者全是针对表格进行操作



分布操作


演示:

①首先对数据库进行备份

mysqldump -uroot -p123456 --databases caosong > /opt/caosong.sql 将数据库备份到/opt/目录下并指定格式为sql


② 假设数据损坏,删除数据库


mysql -uroot  -p123456 #先登录数据库
show databases;#查看现有数据库
drop database caosong;#删除数据库
show databases;#看库

③登录MySQL,使用source命令恢复数据库


source /opt/caosong.sql #恢复,可以理解为执行了一个脚本,脚本里面都是之前创库的步骤命令

使用source命令表恢复(和恢复库步骤一样)


#先备份school数据库里的class1数据表
mysqldump -uroot -p school class1 > /opt/school_class1.sql
#进入数据库
use school;
#删除school数据库里的class1表
drop table class1;
#使用source 恢复数据
source /opt/school_class1.sql
#查看所有字段
select * from class1;


2.3.2 使用mysql命令恢复

恢复数据库


mysql -u root -p -e 'drop database school;'
#“-e”选项,用于指定连接 MySQL 后执行的命令,命令执行完后自动退出
mysql -u root -p -e 'show databases;'
#恢复school数据库
mysql -u root -p < /opt/school.sql  
mysql -u root -p -e 'show databases;

①(先备份数据)删除数据库


②恢复库


2.4为什么使用增量备份

前面章节讲到了完全备份有两种方式,一种是使用 tar 打包数据文件,另一种是使用 mysqldump 进行完全各份。完全备份存在的问题很容易看到,每次都是把所有的数据内容进行备份,各份数据中有大量的重复数据,并且完全备份的时间与恢复的时间很长。解决完全备份存在的问题就是使用增量各份的方式,增量各份就是备份自上一次备份之后增加或改变的文件或者内容。


2.4.1增量备份的特点

增量备份的优点是没有重复数据,备份量不大,时间短。缺点也很明显,需要上次完全备份及完全备份之后所有的增量备份才能恢复,而且对所有增量备份进行逐个反推恢复,操作较为繁锁。

MySQL 没有提供直接的增量备份方法,但是可以通过MySQL 的二进制日志(binarylogs)间接实现增量备份。二进制日志对备份的意义如下:

(1)二进制日志保存了所有更新或者可能更新数据库的操作。

(2)二进制日志在启动 MySQL 服务器后开始记录,并在文件达到 max binlogsize 所设置的大小或者接收到 fush logs 命令后重新创建新的日志文件。

(3)只需要定时执行 fush logs 方法重新创建新的日志,生成二进制文件序列,并及时把这些日志保存到安全的地方就完成了一个时间段的增量备份。


2.5 增量备份实战演练

①增量备份的前提是完全备份


mysqldump -u root -p caosong school2 > /opt/caosong_school2_$(date +%F).sql    
mysqldump -u root -p --all-databases caosong > /opt/caosong_$(date +%F).sql


② 要进行 MySQL 增量备份,首先要开启二进制日志功能。开启二进制日志功

能有两种方法:

③在MySQL配置文件的imysaldj项中加入 log-bin-filepath 项,

如 log-bin=mysql-bin,然后重启mysqld 服务。开启二进制日志功能


vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
binlog_format = MIXED
server-id = 1
#二进制日志有三种不同的记录格式:STATEMENT(基于SQL语句)、ROW(基于行)、MIXED(混合模式),默认为STATEMENT
#server-id 为服务的序号,在MySQL主备、高可用中需要指定服务的序号
#改为配置文件需要重启服务
systemctl restart mysqld


③或者使用mysqld --log-bin=filepath重新启动MySQL服务。开启二进制日志功能

mysqld -log-bin=filepath
systemctl restart mysqld


STATEMENT(基于sql语句):


每一条涉及到被修改的sql 都会记录在binlog中


缺点:日志量过大,如sleep()函数,last_insert_id()>,以及user- definedfuctions(udf)、主从复制等架构记录日志时会出现问题


总结:增删改查通过sql语句来实现记录,如果用高并发可能会出错,可能时间差异或者延迟,可能不是我们想想的恢复可能你先删除或者在修改,可能会倒过来。准确率低


ROW(基于行):


只记录变动的记录,不记录sql的上下文环境


缺点:如果遇到update. . . . …set. . . .where true那么binlog的数据量会越来越大


总结: update、delete以多行数据起作用,来用行记录下来,只记录变动的记录,不记录sql的上下文环境,比如sql语句记录一行,但是Row就可能记录10行,但是准确性高,高并发的时候由于操作量,性能变低比较大所以记录都记下来,


MIXED(混合模式):


一般的语句使用statement,函数使用ROW方式存储


#只要重启就会自动生成二进制文件
systemctl restart mysqld
ls -l /usr/local/mysql/data/mysql-bin.*


mysqlbinlog --no-defaults 二进制日志文件
mysqlbinlog --no-defaults --base64-output=decode-rows -v 二进制日志文件
#--base64-output=decode-rows 使用64位编码机制去解码;decode按行读取rows
#-v 显示详细内容
#--no-defaults 默认字符集(不加会报UTF-8错误)
#将解码后的文件导出为txt文件,重定向输出
mysqlbinlog --no-defaults --base64-output=decode-rows -v 二进制日志文件 > 文件.txt
#刷新日志文件
mysqladmin -uroot -p flush-logs



at :开始的位置点

end_log_pos:结束的位置

时间戳: 210712 11:50:30

SQL语句


2.5.1增量备份的一般恢复

模拟丢失更改的数据的恢复操作步骤(直接使用恢复即可)


将所有备份的二进制日志内容全部恢复


①模拟丢失更改的数据的恢复步骤


mysql -uroot -p123456#进入
use school;#切换
delete from class1 where id=3;#删除数据
delete from class1 where id=4;
select * from class1;#查看
quit#退出
mysqlbinlog --no-defaults /usr/local/mysql/data/mysql-bin.000005 | mysql -u root -p
#还原,记得还原一定要用上一次刷新的文件
mysql -uroot -p123456 -e "select * from caosong.class1;"
#查看



2.5.2增量备份基于位置恢复

数据库在某一时间点可能既有错误的操作也有正确的操作

可以基于精准的位置跳过错误的操作

发生错误节点之前的一个节点,上一次正确操作的位置点停止


在数据库中插入数据并查看

use caosong
insert into school2 values(1,'lili',25,'swim');
insert into school2 values(7,'hhh',27,'sleep');
insert into school2 values(7,'hhh',27,'run');
delete from school2 where name=lili


# 刷新生成新的二进制日志文件
mysqladmin -u root -p flush-logs
mysqlbinlog --no-defaults --base64-output=decode-rows -v mysql-bin.0000007
#查看日志







2.5.3增量备份基于时间点恢复

跳过某个发生错误的时间点实现数据恢复
在错误时间点停止,在下一个正确时间点开始
模拟时间点恢复,刷新日志,生成新的日志文件
mysqlbinlog --no-defaults --stop-datetime='2020-11-22 16:41:24' /opt/mysql-bin.000002 | mysql -uroot -p
#仅恢复"user4"的数据,跳过"user3"的数据恢复
mysqlbinlog --no-defaults --start-datetime='2020-11-2216:41:24' /opt/mysql-bin.000002 | mysql -uroot -p
如果恢复某条SQL语之前的所有数据,就stop在这个语句的位置节点或者时间点
如果恢复某条SQL语句以及之后的所有数据,就从这个语句的位置节点或者时间点start


修改表内数据



备份日志文件,并查看




根据时间恢复数据内容


mysqlbinlog --no-defaults --stop-datetime='2022-06-22 23:20:51' /opt/mysql-bin.000008 |mysql -uroot -p
mysql -uroot -p -e 'select * from test.bin;'

三、总结


在增量备份恢复时,要先从完全备份恢复,再到二进制日志1、日志2…逐一恢复,如果恢复某条SQL语句之前的所有数据,就stop在这个语句的位置节点或者时间点,如果恢复某条SQL语句以及之后的所有数据,就从这个语句的位置节点或者时间点start,全备库中source针对库mysql针对库中的表,备份时使用–database或者-B使恢复时source和mysql效果一致。


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
8天前
|
SQL 存储 关系型数据库
Mysql并发控制和日志
通过深入理解和应用 MySQL 的并发控制和日志管理技术,您可以显著提升数据库系统的效率和稳定性。
39 10
|
3天前
|
安全 关系型数据库 MySQL
MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!
《MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!》介绍了MySQL中的三种关键日志:二进制日志(Binary Log)、重做日志(Redo Log)和撤销日志(Undo Log)。这些日志确保了数据库的ACID特性,即原子性、一致性、隔离性和持久性。Redo Log记录数据页的物理修改,保证事务持久性;Undo Log记录事务的逆操作,支持回滚和多版本并发控制(MVCC)。文章还详细对比了InnoDB和MyISAM存储引擎在事务支持、锁定机制、并发性等方面的差异,强调了InnoDB在高并发和事务处理中的优势。通过这些机制,MySQL能够在事务执行、崩溃和恢复过程中保持
20 3
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
149 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
20天前
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
1月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的全量日志文件
MySQL全量日志记录所有操作的SQL语句,默认禁用。启用后,可通过`show variables like %general_log%检查状态,使用`set global general_log=ON`临时开启,执行查询并查看日志文件以追踪SQL执行详情。
|
1月前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
123 6
|
1月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的慢查询日志
MySQL的慢查询日志用于记录执行时间超过设定阈值的SQL语句,帮助数据库管理员识别并优化性能问题。通过`mysqldumpslow`工具可查看日志。本文介绍了如何检查、启用及配置慢查询日志,并通过实例演示了慢查询的记录与分析过程。
146 3
|
1月前
|
关系型数据库 MySQL Linux
Linux环境下MySQL数据库自动定时备份实践
数据库备份是确保数据安全的重要措施。在Linux环境下,实现MySQL数据库的自动定时备份可以通过多种方式完成。本文将介绍如何使用`cron`定时任务和`mysqldump`工具来实现MySQL数据库的每日自动备份。
109 3
|
1月前
|
监控 关系型数据库 MySQL
Linux环境下MySQL数据库自动定时备份策略
在Linux环境下,MySQL数据库的自动定时备份是确保数据安全和可靠性的重要措施。通过设置定时任务,我们可以每天自动执行数据库备份,从而减少人为错误和提高数据恢复的效率。本文将详细介绍如何在Linux下实现MySQL数据库的自动定时备份。
48 3
|
2月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1710 14