MySQL日志管理和完全备份增量备份与恢复(二)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: MySQL日志管理和完全备份增量备份与恢复(二)

2.3完全恢复

前面介绍了数据库的完全备份,使用mysqldump工具可以把数据库的创建语句保存在备份的脚本文件中,当数据出现错误时可以使用以下几种方式对他进行恢复操作。

当需要恢复整库的时候,可以使用source命令和mysql命令。


2.3.1使用source命令整库恢复

主要命令格式:

先登录MySQL后,可以进行source命令进行数据库整库恢复,命令格式如下:


source 备份脚本的路径

整体操作


#先备份school数据库
mysqldump -uroot -p --databases school > /opt/school.sql
#查看数据库
show databases;
#删除school数据库
drop database school;
#使用source 恢复数据
source /opt/school.sql
当备份时加--databases 表示针对于school库
当备份时不加--databases 表示针对school库下的所有表
当你使用不加--databases 备份时,你恢复数据时需先创建一个当时库同名的库在进行淮阜否则会报错
主要原因在于俩种方式的备份:
前者会从create databases开始
后者全是针对表格进行操作



分布操作


演示:

①首先对数据库进行备份

mysqldump -uroot -p123456 --databases caosong > /opt/caosong.sql 将数据库备份到/opt/目录下并指定格式为sql


② 假设数据损坏,删除数据库


mysql -uroot  -p123456 #先登录数据库
show databases;#查看现有数据库
drop database caosong;#删除数据库
show databases;#看库

③登录MySQL,使用source命令恢复数据库


source /opt/caosong.sql #恢复,可以理解为执行了一个脚本,脚本里面都是之前创库的步骤命令

使用source命令表恢复(和恢复库步骤一样)


#先备份school数据库里的class1数据表
mysqldump -uroot -p school class1 > /opt/school_class1.sql
#进入数据库
use school;
#删除school数据库里的class1表
drop table class1;
#使用source 恢复数据
source /opt/school_class1.sql
#查看所有字段
select * from class1;


2.3.2 使用mysql命令恢复

恢复数据库


mysql -u root -p -e 'drop database school;'
#“-e”选项,用于指定连接 MySQL 后执行的命令,命令执行完后自动退出
mysql -u root -p -e 'show databases;'
#恢复school数据库
mysql -u root -p < /opt/school.sql  
mysql -u root -p -e 'show databases;

①(先备份数据)删除数据库


②恢复库


2.4为什么使用增量备份

前面章节讲到了完全备份有两种方式,一种是使用 tar 打包数据文件,另一种是使用 mysqldump 进行完全各份。完全备份存在的问题很容易看到,每次都是把所有的数据内容进行备份,各份数据中有大量的重复数据,并且完全备份的时间与恢复的时间很长。解决完全备份存在的问题就是使用增量各份的方式,增量各份就是备份自上一次备份之后增加或改变的文件或者内容。


2.4.1增量备份的特点

增量备份的优点是没有重复数据,备份量不大,时间短。缺点也很明显,需要上次完全备份及完全备份之后所有的增量备份才能恢复,而且对所有增量备份进行逐个反推恢复,操作较为繁锁。

MySQL 没有提供直接的增量备份方法,但是可以通过MySQL 的二进制日志(binarylogs)间接实现增量备份。二进制日志对备份的意义如下:

(1)二进制日志保存了所有更新或者可能更新数据库的操作。

(2)二进制日志在启动 MySQL 服务器后开始记录,并在文件达到 max binlogsize 所设置的大小或者接收到 fush logs 命令后重新创建新的日志文件。

(3)只需要定时执行 fush logs 方法重新创建新的日志,生成二进制文件序列,并及时把这些日志保存到安全的地方就完成了一个时间段的增量备份。


2.5 增量备份实战演练

①增量备份的前提是完全备份


mysqldump -u root -p caosong school2 > /opt/caosong_school2_$(date +%F).sql    
mysqldump -u root -p --all-databases caosong > /opt/caosong_$(date +%F).sql


② 要进行 MySQL 增量备份,首先要开启二进制日志功能。开启二进制日志功

能有两种方法:

③在MySQL配置文件的imysaldj项中加入 log-bin-filepath 项,

如 log-bin=mysql-bin,然后重启mysqld 服务。开启二进制日志功能


vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
binlog_format = MIXED
server-id = 1
#二进制日志有三种不同的记录格式:STATEMENT(基于SQL语句)、ROW(基于行)、MIXED(混合模式),默认为STATEMENT
#server-id 为服务的序号,在MySQL主备、高可用中需要指定服务的序号
#改为配置文件需要重启服务
systemctl restart mysqld


③或者使用mysqld --log-bin=filepath重新启动MySQL服务。开启二进制日志功能

mysqld -log-bin=filepath
systemctl restart mysqld


STATEMENT(基于sql语句):


每一条涉及到被修改的sql 都会记录在binlog中


缺点:日志量过大,如sleep()函数,last_insert_id()>,以及user- definedfuctions(udf)、主从复制等架构记录日志时会出现问题


总结:增删改查通过sql语句来实现记录,如果用高并发可能会出错,可能时间差异或者延迟,可能不是我们想想的恢复可能你先删除或者在修改,可能会倒过来。准确率低


ROW(基于行):


只记录变动的记录,不记录sql的上下文环境


缺点:如果遇到update. . . . …set. . . .where true那么binlog的数据量会越来越大


总结: update、delete以多行数据起作用,来用行记录下来,只记录变动的记录,不记录sql的上下文环境,比如sql语句记录一行,但是Row就可能记录10行,但是准确性高,高并发的时候由于操作量,性能变低比较大所以记录都记下来,


MIXED(混合模式):


一般的语句使用statement,函数使用ROW方式存储


#只要重启就会自动生成二进制文件
systemctl restart mysqld
ls -l /usr/local/mysql/data/mysql-bin.*


mysqlbinlog --no-defaults 二进制日志文件
mysqlbinlog --no-defaults --base64-output=decode-rows -v 二进制日志文件
#--base64-output=decode-rows 使用64位编码机制去解码;decode按行读取rows
#-v 显示详细内容
#--no-defaults 默认字符集(不加会报UTF-8错误)
#将解码后的文件导出为txt文件,重定向输出
mysqlbinlog --no-defaults --base64-output=decode-rows -v 二进制日志文件 > 文件.txt
#刷新日志文件
mysqladmin -uroot -p flush-logs



at :开始的位置点

end_log_pos:结束的位置

时间戳: 210712 11:50:30

SQL语句


2.5.1增量备份的一般恢复

模拟丢失更改的数据的恢复操作步骤(直接使用恢复即可)


将所有备份的二进制日志内容全部恢复


①模拟丢失更改的数据的恢复步骤


mysql -uroot -p123456#进入
use school;#切换
delete from class1 where id=3;#删除数据
delete from class1 where id=4;
select * from class1;#查看
quit#退出
mysqlbinlog --no-defaults /usr/local/mysql/data/mysql-bin.000005 | mysql -u root -p
#还原,记得还原一定要用上一次刷新的文件
mysql -uroot -p123456 -e "select * from caosong.class1;"
#查看



2.5.2增量备份基于位置恢复

数据库在某一时间点可能既有错误的操作也有正确的操作

可以基于精准的位置跳过错误的操作

发生错误节点之前的一个节点,上一次正确操作的位置点停止


在数据库中插入数据并查看

use caosong
insert into school2 values(1,'lili',25,'swim');
insert into school2 values(7,'hhh',27,'sleep');
insert into school2 values(7,'hhh',27,'run');
delete from school2 where name=lili


# 刷新生成新的二进制日志文件
mysqladmin -u root -p flush-logs
mysqlbinlog --no-defaults --base64-output=decode-rows -v mysql-bin.0000007
#查看日志







2.5.3增量备份基于时间点恢复

跳过某个发生错误的时间点实现数据恢复
在错误时间点停止,在下一个正确时间点开始
模拟时间点恢复,刷新日志,生成新的日志文件
mysqlbinlog --no-defaults --stop-datetime='2020-11-22 16:41:24' /opt/mysql-bin.000002 | mysql -uroot -p
#仅恢复"user4"的数据,跳过"user3"的数据恢复
mysqlbinlog --no-defaults --start-datetime='2020-11-2216:41:24' /opt/mysql-bin.000002 | mysql -uroot -p
如果恢复某条SQL语之前的所有数据,就stop在这个语句的位置节点或者时间点
如果恢复某条SQL语句以及之后的所有数据,就从这个语句的位置节点或者时间点start


修改表内数据



备份日志文件,并查看




根据时间恢复数据内容


mysqlbinlog --no-defaults --stop-datetime='2022-06-22 23:20:51' /opt/mysql-bin.000008 |mysql -uroot -p
mysql -uroot -p -e 'select * from test.bin;'

三、总结


在增量备份恢复时,要先从完全备份恢复,再到二进制日志1、日志2…逐一恢复,如果恢复某条SQL语句之前的所有数据,就stop在这个语句的位置节点或者时间点,如果恢复某条SQL语句以及之后的所有数据,就从这个语句的位置节点或者时间点start,全备库中source针对库mysql针对库中的表,备份时使用–database或者-B使恢复时source和mysql效果一致。


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
7天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
113 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
7天前
|
关系型数据库 MySQL Linux
Linux环境下MySQL数据库自动定时备份实践
数据库备份是确保数据安全的重要措施。在Linux环境下,实现MySQL数据库的自动定时备份可以通过多种方式完成。本文将介绍如何使用`cron`定时任务和`mysqldump`工具来实现MySQL数据库的每日自动备份。
23 3
|
7天前
|
监控 关系型数据库 MySQL
Linux环境下MySQL数据库自动定时备份策略
在Linux环境下,MySQL数据库的自动定时备份是确保数据安全和可靠性的重要措施。通过设置定时任务,我们可以每天自动执行数据库备份,从而减少人为错误和提高数据恢复的效率。本文将详细介绍如何在Linux下实现MySQL数据库的自动定时备份。
20 3
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1625 14
|
3天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的撤销日志文件和错误日志文件
本文介绍了MySQL的物理存储结构,重点讲解了InnoDB存储引擎中的撤销日志文件(undo log)和错误日志文件。从MySQL 8.0开始,默认生成两个10MB的undo表空间文件,并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题,通过示例展示了如何查看和使用这些日志。
|
1月前
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
27 1
|
25天前
|
存储 关系型数据库 MySQL
MySQL中的Redo Log、Undo Log和Binlog:深入解析
【10月更文挑战第21天】在数据库管理系统中,日志是保障数据一致性和完整性的关键机制。MySQL作为一种广泛使用的关系型数据库管理系统,提供了多种日志类型来满足不同的需求。本文将详细介绍MySQL中的Redo Log、Undo Log和Binlog,从背景、业务场景、功能、底层实现原理、使用措施等方面进行详细分析,并通过Java代码示例展示如何与这些日志进行交互。
50 0
|
1月前
|
SQL 关系型数据库 MySQL
Hadoop-25 Sqoop迁移 增量数据导入 CDC 变化数据捕获 差量同步数据 触发器 快照 日志
Hadoop-25 Sqoop迁移 增量数据导入 CDC 变化数据捕获 差量同步数据 触发器 快照 日志
37 0
|
8天前
|
SQL 关系型数据库 MySQL
go语言数据库中mysql驱动安装
【11月更文挑战第2天】
23 4
|
6天前
|
SQL 关系型数据库 MySQL
12 PHP配置数据库MySQL
路老师分享了PHP操作MySQL数据库的方法,包括安装并连接MySQL服务器、选择数据库、执行SQL语句(如插入、更新、删除和查询),以及将结果集返回到数组。通过具体示例代码,详细介绍了每一步的操作流程,帮助读者快速入门PHP与MySQL的交互。
19 1