Mysql使用binlog增量备份与恢复

本文涉及的产品
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: Mysql使用binlog增量备份与恢复

背景

  • 之前都是使用mysqldump全量备份,后来数据量大了,一个是磁盘空间不足,第二是占用cpu资源严重;
  • 使用binlog之后,执行过程都被实时记录到了日志文件中,只需要维护一次全量备份,基于此,再加上执行记录,就可以恢复到自己想要的位置或时间节点;

查询binlog相关

-- 查看当前数据库是否开启binlog
show variables like '%log_bin%';

-- 查看当前数据库binary log的位置
show master status;     

-- 查看binlog日志文件有哪些
show binary logs;

-- 查看具体日志文件
show binlog events in 'mysql-bin.000001';

在这里插入图片描述

修改配置文件开启log_bin:

[mysqld]
#binlog 设置
log-bin=/var/lib/mysql/mysql-bin
server_id=1
max_binlog_size=100M            # 默认1G

# binlog模式的选择,可参考链接:http://blog.itpub.net/20892230/viewspace-2129567/
binlog_format="ROW"
binlog_rows_query_log_events =1    
binlog_row_image='minimal'              # 默认是full,记录全部字段,  minimal表示只记录更改字段的值和where字段的值

修改好后重启msyql

增量备份

生成新的mysql-bin.00000*文件:

# 登陆了msysql直接执行:
flush logs;

# Linux中直接执行
mysqladmin  -uroot  -p123456   flush-logs

# docker中:
docker  exec -it mysql5.7  mysqladmin  -uroot  -p123456   flush-logs

清空所有binlog日志命令:

-- 日志文件也会被直接清理掉,重新从mysql-bin.000001开始记录日志
reset master;

通过mysqlbinlog 命令查看日志文件

直接查看

mysqlbinlog --no-defaults ./mysql-bin.000002
在这里插入图片描述

解码查看sql执行记录:

mysqlbinlog --no-defaults --base64-output=decode-rows -v mysql-bin.000002
在这里插入图片描述

查看该文件的开始记录时间与结束时间:

# 查看开始时间
mysqlbinlog  --no-defaults  ./mysql-bin.000011  | grep  "Start: binlog"
# 查看结束时间
mysqlbinlog  --no-defaults  ./mysql-bin.000011  | grep  "Rotate to "

在这里插入图片描述
在这里插入图片描述

如何恢复

  • 导入全量备份的数据,然后基于这个数据,通过log_bin日志,按生成顺序,一个个日志文件执行一遍即可;
-- 恢复到 mysql-bin.000001 的数据,指定库名 log(也可以不指定数据库名,全部恢复)   
mysqlbinlog  --no-defaults  /var/lib/mysql/mysql-bin.000001   |   mysql -uroot -p123456 -v log;

--  指定pos结束点恢复(部分恢复)
mysqlbinlog  --no-defaults  --stop-position=435  --database= log    /var/lib/mysql/mysql-bin.000001   |  mysql -uroot -p密码   -v   log

--  指定pos开始点与结束点恢复(部分恢复)
mysqlbinlog   --no-defaults   --start-position=573  --stop-position=718  --database= log    /var/lib/mysql/mysql-bin.000001   |  mysql -uroot -p密码   -v   log

-- 通过时间来恢复,(指定截止时间,或者指定开始与结束时间)
mysqlbinlog  --no-defaults   --start-datetime="2020-9-25 15:05:08"  --stop-datetime="2020-9-25 16:25:00"  --database= log    /var/lib/mysql/mysql-bin.000001   |  mysql -uroot -p密码   -v   log

-- 将mysql-bin.000001日志文件内的 log 数据库日志,事件点 718 之前的日志,输出到 log718.sql
-- 而且解析输出到sql之后,也是可以通过 source  **.sql 来执行导入的;
mysqlbinlog  --no-defaults   /var/lib/mysql/mysql-bin.000001 -d log --skip-gtids --stop-position=718 > log718.sql

--当报此错时:mysqlbinlog: mysql: [ERROR] unknown variable 'default-character-set=utf8mb4'
--加上这个参数就好了:--no-defaults

我的备份方案:

1、确认开启binlog配置后,reset master从新开始记录日志;
2、每天定时 flush logs一次;并及时备份好 msql-bin.00**文件;这一步不做也行;
3、每周全量备份一次,注意:先flush logs,然后执行全量备份;

  • 注意注意:一定要小心 reset master命令,一旦执行,日志文件将会全部丢失,重新开始记录后面的执行日志了!!!
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
12天前
|
SQL 安全 关系型数据库
MySQL的binlog日志的简介与查看
MySQL的binlog日志的简介与查看
26 4
|
18天前
|
SQL 运维 关系型数据库
|
29天前
|
Oracle 关系型数据库 MySQL
实时计算 Flink版产品使用问题之假如mysql的binlog有很多个文件,按什么顺序扫描
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
28天前
|
关系型数据库 MySQL
蓝易云 - MySQL自动删除binlog日志
注意,这个参数只影响新的binlog文件。如果你的服务器上已经有超过7天的日志文件,你需要手动删除它们,或者使用PURGE BINARY LOGS命令来删除它们。
18 0
|
9天前
|
存储 关系型数据库 MySQL
探索MySQL:关系型数据库的基石
MySQL,作为全球最流行的开源关系型数据库管理系统(RDBMS)之一,广泛应用于各种Web应用、企业级应用和数据仓库中
|
6天前
|
关系型数据库 MySQL 网络安全
Mysql 数据库主从复制
在MySQL主从复制环境中,配置了两台虚拟机:主VM拥有IP1,从VM有IP2。主VM的`my.cnf`设置server-id为1,启用二进制日志;从VM设置server-id为2,开启GTID模式。通过`find`命令查找配置文件,编辑`my.cnf`,在主服务器上创建复制用户,记录二进制日志信息,然后锁定表并备份数据。备份文件通过SCP传输到从服务器,恢复数据并配置复制源,启动复制。检查复制状态确认运行正常。最后解锁表,完成主从同步,新用户在从库中自动更新。
910 6
Mysql 数据库主从复制
|
7天前
|
缓存 运维 关系型数据库
数据库容灾 | MySQL MGR与阿里云PolarDB-X Paxos的深度对比
经过深入的技术剖析与性能对比,PolarDB-X DN凭借其自研的X-Paxos协议和一系列优化设计,在性能、正确性、可用性及资源开销等方面展现出对MySQL MGR的多项优势,但MGR在MySQL生态体系内也占据重要地位,但需要考虑备库宕机抖动、跨机房容灾性能波动、稳定性等各种情况,因此如果想用好MGR,必须配备专业的技术和运维团队的支持。 在面对大规模、高并发、高可用性需求时,PolarDB-X存储引擎以其独特的技术优势和优异的性能表现,相比于MGR在开箱即用的场景下,PolarDB-X基于DN的集中式(标准版)在功能和性能都做到了很好的平衡,成为了极具竞争力的数据库解决方案。
|
12天前
|
XML Java 关系型数据库
Action:Consider the following: If you want an embedde ,springBoot配置数据库,补全springBoot的xml和mysql配置信息就好了
Action:Consider the following: If you want an embedde ,springBoot配置数据库,补全springBoot的xml和mysql配置信息就好了
|
12天前
|
关系型数据库 MySQL 数据库
关系型数据库mysql数据增量恢复
【7月更文挑战第3天】
126 2
|
12天前
|
关系型数据库 MySQL Shell
关系型数据库mysql数据完全恢复
【7月更文挑战第3天】
83 2