MySQL日志管理和完全备份增量备份与恢复(二)

本文涉及的产品
RDS AI 助手,专业版
RDS Agent(兼容OpenClaw),2核4GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介: MySQL日志管理和完全备份增量备份与恢复(二)

2.3完全恢复

前面介绍了数据库的完全备份,使用mysqldump工具可以把数据库的创建语句保存在备份的脚本文件中,当数据出现错误时可以使用以下几种方式对他进行恢复操作。

当需要恢复整库的时候,可以使用source命令和mysql命令。


2.3.1使用source命令整库恢复

主要命令格式:

先登录MySQL后,可以进行source命令进行数据库整库恢复,命令格式如下:


source 备份脚本的路径

整体操作


#先备份school数据库
mysqldump -uroot -p --databases school > /opt/school.sql
#查看数据库
show databases;
#删除school数据库
drop database school;
#使用source 恢复数据
source /opt/school.sql
当备份时加--databases 表示针对于school库
当备份时不加--databases 表示针对school库下的所有表
当你使用不加--databases 备份时,你恢复数据时需先创建一个当时库同名的库在进行淮阜否则会报错
主要原因在于俩种方式的备份:
前者会从create databases开始
后者全是针对表格进行操作



分布操作


演示:

①首先对数据库进行备份

mysqldump -uroot -p123456 --databases caosong > /opt/caosong.sql 将数据库备份到/opt/目录下并指定格式为sql


② 假设数据损坏,删除数据库


mysql -uroot  -p123456 #先登录数据库
show databases;#查看现有数据库
drop database caosong;#删除数据库
show databases;#看库

③登录MySQL,使用source命令恢复数据库


source /opt/caosong.sql #恢复,可以理解为执行了一个脚本,脚本里面都是之前创库的步骤命令

使用source命令表恢复(和恢复库步骤一样)


#先备份school数据库里的class1数据表
mysqldump -uroot -p school class1 > /opt/school_class1.sql
#进入数据库
use school;
#删除school数据库里的class1表
drop table class1;
#使用source 恢复数据
source /opt/school_class1.sql
#查看所有字段
select * from class1;


2.3.2 使用mysql命令恢复

恢复数据库


mysql -u root -p -e 'drop database school;'
#“-e”选项,用于指定连接 MySQL 后执行的命令,命令执行完后自动退出
mysql -u root -p -e 'show databases;'
#恢复school数据库
mysql -u root -p < /opt/school.sql  
mysql -u root -p -e 'show databases;

①(先备份数据)删除数据库


②恢复库


2.4为什么使用增量备份

前面章节讲到了完全备份有两种方式,一种是使用 tar 打包数据文件,另一种是使用 mysqldump 进行完全各份。完全备份存在的问题很容易看到,每次都是把所有的数据内容进行备份,各份数据中有大量的重复数据,并且完全备份的时间与恢复的时间很长。解决完全备份存在的问题就是使用增量各份的方式,增量各份就是备份自上一次备份之后增加或改变的文件或者内容。


2.4.1增量备份的特点

增量备份的优点是没有重复数据,备份量不大,时间短。缺点也很明显,需要上次完全备份及完全备份之后所有的增量备份才能恢复,而且对所有增量备份进行逐个反推恢复,操作较为繁锁。

MySQL 没有提供直接的增量备份方法,但是可以通过MySQL 的二进制日志(binarylogs)间接实现增量备份。二进制日志对备份的意义如下:

(1)二进制日志保存了所有更新或者可能更新数据库的操作。

(2)二进制日志在启动 MySQL 服务器后开始记录,并在文件达到 max binlogsize 所设置的大小或者接收到 fush logs 命令后重新创建新的日志文件。

(3)只需要定时执行 fush logs 方法重新创建新的日志,生成二进制文件序列,并及时把这些日志保存到安全的地方就完成了一个时间段的增量备份。


2.5 增量备份实战演练

①增量备份的前提是完全备份


mysqldump -u root -p caosong school2 > /opt/caosong_school2_$(date +%F).sql    
mysqldump -u root -p --all-databases caosong > /opt/caosong_$(date +%F).sql


② 要进行 MySQL 增量备份,首先要开启二进制日志功能。开启二进制日志功

能有两种方法:

③在MySQL配置文件的imysaldj项中加入 log-bin-filepath 项,

如 log-bin=mysql-bin,然后重启mysqld 服务。开启二进制日志功能


vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
binlog_format = MIXED
server-id = 1
#二进制日志有三种不同的记录格式:STATEMENT(基于SQL语句)、ROW(基于行)、MIXED(混合模式),默认为STATEMENT
#server-id 为服务的序号,在MySQL主备、高可用中需要指定服务的序号
#改为配置文件需要重启服务
systemctl restart mysqld


③或者使用mysqld --log-bin=filepath重新启动MySQL服务。开启二进制日志功能

mysqld -log-bin=filepath
systemctl restart mysqld


STATEMENT(基于sql语句):


每一条涉及到被修改的sql 都会记录在binlog中


缺点:日志量过大,如sleep()函数,last_insert_id()>,以及user- definedfuctions(udf)、主从复制等架构记录日志时会出现问题


总结:增删改查通过sql语句来实现记录,如果用高并发可能会出错,可能时间差异或者延迟,可能不是我们想想的恢复可能你先删除或者在修改,可能会倒过来。准确率低


ROW(基于行):


只记录变动的记录,不记录sql的上下文环境


缺点:如果遇到update. . . . …set. . . .where true那么binlog的数据量会越来越大


总结: update、delete以多行数据起作用,来用行记录下来,只记录变动的记录,不记录sql的上下文环境,比如sql语句记录一行,但是Row就可能记录10行,但是准确性高,高并发的时候由于操作量,性能变低比较大所以记录都记下来,


MIXED(混合模式):


一般的语句使用statement,函数使用ROW方式存储


#只要重启就会自动生成二进制文件
systemctl restart mysqld
ls -l /usr/local/mysql/data/mysql-bin.*


mysqlbinlog --no-defaults 二进制日志文件
mysqlbinlog --no-defaults --base64-output=decode-rows -v 二进制日志文件
#--base64-output=decode-rows 使用64位编码机制去解码;decode按行读取rows
#-v 显示详细内容
#--no-defaults 默认字符集(不加会报UTF-8错误)
#将解码后的文件导出为txt文件,重定向输出
mysqlbinlog --no-defaults --base64-output=decode-rows -v 二进制日志文件 > 文件.txt
#刷新日志文件
mysqladmin -uroot -p flush-logs



at :开始的位置点

end_log_pos:结束的位置

时间戳: 210712 11:50:30

SQL语句


2.5.1增量备份的一般恢复

模拟丢失更改的数据的恢复操作步骤(直接使用恢复即可)


将所有备份的二进制日志内容全部恢复


①模拟丢失更改的数据的恢复步骤


mysql -uroot -p123456#进入
use school;#切换
delete from class1 where id=3;#删除数据
delete from class1 where id=4;
select * from class1;#查看
quit#退出
mysqlbinlog --no-defaults /usr/local/mysql/data/mysql-bin.000005 | mysql -u root -p
#还原,记得还原一定要用上一次刷新的文件
mysql -uroot -p123456 -e "select * from caosong.class1;"
#查看



2.5.2增量备份基于位置恢复

数据库在某一时间点可能既有错误的操作也有正确的操作

可以基于精准的位置跳过错误的操作

发生错误节点之前的一个节点,上一次正确操作的位置点停止


在数据库中插入数据并查看

use caosong
insert into school2 values(1,'lili',25,'swim');
insert into school2 values(7,'hhh',27,'sleep');
insert into school2 values(7,'hhh',27,'run');
delete from school2 where name=lili


# 刷新生成新的二进制日志文件
mysqladmin -u root -p flush-logs
mysqlbinlog --no-defaults --base64-output=decode-rows -v mysql-bin.0000007
#查看日志







2.5.3增量备份基于时间点恢复

跳过某个发生错误的时间点实现数据恢复
在错误时间点停止,在下一个正确时间点开始
模拟时间点恢复,刷新日志,生成新的日志文件
mysqlbinlog --no-defaults --stop-datetime='2020-11-22 16:41:24' /opt/mysql-bin.000002 | mysql -uroot -p
#仅恢复"user4"的数据,跳过"user3"的数据恢复
mysqlbinlog --no-defaults --start-datetime='2020-11-2216:41:24' /opt/mysql-bin.000002 | mysql -uroot -p
如果恢复某条SQL语之前的所有数据,就stop在这个语句的位置节点或者时间点
如果恢复某条SQL语句以及之后的所有数据,就从这个语句的位置节点或者时间点start


修改表内数据



备份日志文件,并查看




根据时间恢复数据内容


mysqlbinlog --no-defaults --stop-datetime='2022-06-22 23:20:51' /opt/mysql-bin.000008 |mysql -uroot -p
mysql -uroot -p -e 'select * from test.bin;'

三、总结


在增量备份恢复时,要先从完全备份恢复,再到二进制日志1、日志2…逐一恢复,如果恢复某条SQL语句之前的所有数据,就stop在这个语句的位置节点或者时间点,如果恢复某条SQL语句以及之后的所有数据,就从这个语句的位置节点或者时间点start,全备库中source针对库mysql针对库中的表,备份时使用–database或者-B使恢复时source和mysql效果一致。


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
8月前
|
SQL 运维 关系型数据库
深入探讨MySQL的二进制日志(binlog)选项
总结而言,对MySQL binlogs深度理解并妥善配置对数据库运维管理至关重要;它不仅关系到系统性能优化也是实现高可靠性架构设计必须考虑因素之一。通过精心规划与周密部署可以使得该机能充分发挥作用而避免潜在风险带来影响。
254 6
|
9月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
669 10
|
11月前
|
存储 关系型数据库 MySQL
【赵渝强老师】使用select...into outfile语句备份MySQL
本文介绍了MySQL中使用`SELECT...INTO OUTFILE`语句将表数据导出为文本文件的方法。通过示例演示了如何备份员工表(emp)的数据,包括创建存储目录、设置权限、配置参数`secure_file_priv`以及解决相关错误的过程。字段分隔符和行终止符可自定义,确保数据格式符合需求。最后展示了备份文件的内容,验证操作成功。
649 36
|
11月前
|
存储 SQL 关系型数据库
【赵渝强老师】使用mysqldump备份MySQL
本文介绍了 MySQL 自带的逻辑备份工具 mysqldump 的使用方法。通过 mysqldump,可以将数据库中的数据转换为对应的 SQL 插入语句,便于备份和还原。文章详细说明了如何备份所有数据库、指定数据库及特定表,排除某些表不备份的操作,以及删除数据库后如何通过备份文件恢复数据。同时提供了视频讲解和具体命令示例,帮助用户更好地理解和应用该工具。
1100 5
|
12月前
|
SQL 监控 关系型数据库
MySQL日志分析:binlog、redolog、undolog三大日志的深度探讨。
数据库管理其实和写小说一样,需要规划,需要修订,也需要有能力回滚。理解这些日志的作用与优化,就像把握写作工具的使用与运用,为我们的数据库保驾护航。
792 23
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
544 28
|
存储 关系型数据库 MySQL
利用Cron表达式实现MySQL数据库的定时备份
以上就是如何使用Cron表达式和mysqldump命令实现MySQL数据库的定时备份。这种方法的优点是简单易用,而且可以根据需要定制备份的时间和频率。但是,它也有一些限制,例如,它不能备份MySQL服务器的配置文件和用户账户信息,也不能实现增量备份。如果需要更复杂的备份策略,可能需要使用专门的备份工具或服务。
373 15
|
11月前
|
存储 SQL 关系型数据库
【赵渝强老师】使用mydumper备份MySQL
本文介绍了使用mydumper工具进行MySQL数据库备份与恢复的操作方法。相比单线程工作的mysqldump,mydumper支持多线程,速度提升可达10倍。其功能包括事务性表快照、快速压缩、导出binlog等,并提供详细的参数说明和操作步骤。文章通过实例演示了安装mydumper、创建存储目录、全库备份、指定数据库及表备份、删除数据库以及使用myloader恢复数据的完整流程,并附带视频讲解,帮助用户更好地理解和应用该工具。
776 0
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
574 9

推荐镜像

更多