备案控制台
探索云世界
开发者社区 数据库 文章 正文

mysql 利用binlog增量备份，还原实例

2016-03-19 2593
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL Serverless，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
简介： <br><br> 一什么是增量备份<br> 增量备份，就是将新增加的数据进行备份。假如你一个数据库，有10G的数据，每天会增加10M的数据，数据库每天都要备份一次，这么多数据是不是都要备份呢？还是只要备份增加的数据呢，很显然，我只要备份增加的数据。这样减少服务器的负担。<br><br><br> 二，启用binlog<br> vi my.cnf<br> log-bin=/var/l


一什么是增量备份
增量备份，就是将新增加的数据进行备份。假如你一个数据库，有10G的数据，每天会增加10M的数据，数据库每天都要备份一次，这么多数据是不是都要备份呢？还是只要备份增加的数据呢，很显然，我只要备份增加的数据。这样减少服务器的负担。


二，启用binlog
vi my.cnf
log-bin=/var/lib/mysql/mysql-bin.log，如果是这样的话log-bin=mysql-bin.log默认在datadir目录下面
[root@BlackGhost mysql]# ls |grep mysql-bin
mysql-bin.000001
mysql-bin.000002
mysql-bin.000003
mysql-bin.000004
mysql-bin.000005
mysql-bin.000006
mysql-bin.index
启动后会产生mysql-bin这样的文件，每启动一次，就会增加一个或者多个。

mysql-bin.000002这样文件存放的是数据库每天增加的数据，所有数据库的数据增量都在这里面。


三，查看mysql-bin.000002这样的文件里面到底是什么东西


[root@BlackGhost mysql]# mysqlbinlog   /var/lib/mysql/mysql-bin.000002 > /tmp/add.sql

查看复制打印?


[root@BlackGhost mysql]# cat /tmp/add.sql   // 下面是根据mysql-bin生成的文件（部分内容）  


/*!40019 SET @@session.max_insert_delayed_threads=0*/;  

/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;  
DELIMITER /*!*/;  
# at 4  
#100929 21:23:52 server id 1  end_log_pos 106     Start: binlog v 4, server v 5.1.50-log created 100929 21:23:52 at startup  
# Warning: this binlog was not closed properly. Most probably mysqld crashed writing it.  
ROLLBACK/*!*/;  
BINLOG ' 
6D2jTA8BAAAAZgAAAGoAAAABAAQANS4xLjUwLWxvZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA 
AAAAAAAAAAAAAAAAAADoPaNMEzgNAAgAEgAEBAQEEgAAUwAEGggAAAAICAgC 
'/*!*/;  
# at 106  
#100929 21:29:35 server id 1  end_log_pos 134     Intvar  
SET INSERT_ID=16/*!*/;  
# at 134  
#100929 21:29:35 server id 1  end_log_pos 237     Query    thread_id=1    exec_time=0    error_code=0  
use test/*!*/;           //这里是test数据库  
SET TIMESTAMP=1285766975/*!*/;  
SET @@session.pseudo_thread_id=1/*!*/;  
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=1, @@session.unique_checks=1/*!*/;  
SET @@session.sql_mode=0/*!*/;  
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;  
/*!\C utf8 *//*!*/;  
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=33/*!*/;  
SET @@session.lc_time_names=0/*!*/;  
SET @@session.collation_database=DEFAULT/*!*/;  
insert into aa(name)values('cccccccccc')  
/*!*/;  
# at 237  
#100929 21:32:21 server id 1  end_log_pos 265     Intvar  
SET INSERT_ID=12/*!*/;  
# at 265  
#100929 21:32:21 server id 1  end_log_pos 370     Query    thread_id=1    exec_time=0    error_code=0  
SET TIMESTAMP=1285767141/*!*/;  
insert into user(name)values('cccccccccc')  
/*!*/;  
# at 370  
#100929 21:35:25 server id 1  end_log_pos 440     Query    thread_id=1    exec_time=0    error_code=0  
SET TIMESTAMP=1285767325/*!*/;  
BEGIN  
/*!*/;  
# at 440  
#100929 21:35:25 server id 1  end_log_pos 468     Intvar  
SET INSERT_ID=45/*!*/;  
# at 468  
#100929 21:35:25 server id 1  end_log_pos 573     Query    thread_id=1    exec_time=0    error_code=0  
use blog/*!*/;             //这里是blog数据库  
SET TIMESTAMP=1285767325/*!*/;  
insert into city(CityName)values('asdf')  
/*!*/;  
# at 573  
#100929 21:35:25 server id 1  end_log_pos 600     Xid = 205  
COMMIT/*!*/;  
DELIMITER ;  
# End of log file  
ROLLBACK /* added by mysqlbinlog */;  
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;  


下面还有一个重要索引文件就是mysql-bin.index


[root@BlackGhost mysql]# cat mysql-bin.index  

./mysql-bin.000001  
./mysql-bin.000002  
./mysql-bin.000003  
./mysql-bin.000004  
./mysql-bin.000005  
./mysql-bin.000006  


四，增量备份和增量还原


1，增量备份

既然我们知道了，mysql里面新增加的数据在mysql-bin这样的文件里面，我们只要把mysql-bin这样的文件进行备份就可以了。
cp /var/lib/mysql/mysql-bin* /data/mysql_newbak/


2，增量还原，讲几个常用的，比较有用的


a），根据时间来还原 --start-date,--stop-date

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog --start-date="2010-09-29 18:00:00" --stop-date="2010-09-29 23:00:00" /var/lib/mysql/mysql-bin.000002 |mysql -u root -p
根据条件看一下数据
查看复制打印?


[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog  --start-date="2010-09-29 18:00:00"  

--stop-date="2010-09-29 23:00:00"  /var/lib/mysql/mysql-bin.000002  


//下面是部分内容，其实也就是一些对数据进行操作的sql语句  

# at 237  
#100929 21:32:21 server id 1  end_log_pos 265     Intvar  
SET INSERT_ID=12/*!*/;  
# at 265  
#100929 21:32:21 server id 1  end_log_pos 370     Query    thread_id=1    exec_time=0    error_code=0  
SET TIMESTAMP=1285767141/*!*/;  
insert into user(name)values('cccccccccc')  
/*!*/;  
# at 370  
#100929 21:35:25 server id 1  end_log_pos 440     Query    thread_id=1    exec_time=0    error_code=0  
SET TIMESTAMP=1285767325/*!*/;  
BEGIN  
/*!*/;  
# at 440  
#100929 21:35:25 server id 1  end_log_pos 468     Intvar  
SET INSERT_ID=45/*!*/;  
# at 468  
#100929 21:35:25 server id 1  end_log_pos 573     Query    thread_id=1    exec_time=0    error_code=0  


b），根据起始位置来还原，--start-position,--stop-position

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog --start-position=370 --stop-position=440  /var/lib/mysql/mysql-bin.000002 |mysql -u root -p


//查看插入的内容，根a）中是一样的

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog --start-position=370 --stop-position=440  /var/lib/mysql/mysql-bin.000002
--start-position=370 --stop-position=440 这里面数字从哪儿来的呢？
# at 370
#100929 21:35:25 server id 1  end_log_pos 440 Query    thread_id=1    exec_time=0    error_code=0
SET TIMESTAMP=1285767325/*!*/;
上面的红色加粗的就是，一个是start-position，一个是stop-position


c），根据数据库名来进行还原 -d

在这里是小写的d，请不要把它和mysqldump中的－D搞混了。哈哈。
[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog -d test  /var/lib/mysql/mysql-bin.000002
查看内容，请参考a）


d），根据数据库所在IP来分－h

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog -h 192.1681.102  /var/lib/mysql/mysql-bin.000002
查看内容，请参考a）


e），根据数据库所占用的端口来分－P

有的时候，我们的mysql用的不一定是3306端口，注意是大写的P
[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog -p 13306  /var/lib/mysql/mysql-bin.000002
查看内容，请参考a）
f），根据数据库serverid来还原--server-id
在数据库的配置文件中，都有一个serverid并且同一集群中serverid是不能相同的。


[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog --server-id=1  /var/lib/mysql/mysql-bin.000002

查看内容，请参考a）
注意：上面的几个例子，我都是一个一个说的，其实可以排列组合的。例如
[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog --start-position="2010-09-29 18:00:00" -d test -h 127.0.0.1 /var/lib/mysql/mysql-bin.000002 ｜mysql -u root -p



五，后续

增量备份的时候，有一点让人不爽，就是mysql-bin这样的文件，每启动一次mysql就会增加一些，如果你不去管他的话，时间长了，他会把你的磁盘占满。

./mysqldump --flush-logs -u root  myblog > /tmp/myblog.sql


备份myblog数据库，清除增量备份里面的有关myblog的数据

./mysqldump --flush-logs -u root  --all-databases > /tmp/alldatabase.sql


备份所有数据库，清除增量备份

mysql-bin.index的起索引作用，因为增量的数据不一定在一个mysql-bin000这样的文件里面，这个时候，我们就要根据mysql-bin.index来找mysql-bin这样的增量文件了。

如果mysql里面做了这样的配置binlog-do-db=test1，增量备份里面只会有test1这个数据库的数据


总结：

1、根据位置postid 来增量还原比较使用（常用）（推荐）

2、根据起止时间来增量还原一般常用。

3、还原是基于语句的还原，一定要看清postid的起止号 通常是at 开头，#号结尾。



参考：

http://blog.51yip.com/mysql/1042.html

http://www.ilanni.com/?p=7911

http://cwtea.blog.51cto.com/4500217/1259509

日志比较：

http://blog.csdn.net/u010098331/article/details/50931719





文章标签：
云数据库 RDS MySQL 版
关系型数据库
MySQL
数据库
关键词：
云数据库 RDS MySQL 版binlog
mysql binlog
云数据库 RDS MySQL 版实例
binlog mysql
云数据库 RDS MySQL 版备份
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境，其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
白及88
目录
相关文章
liuyunshengsir
|
18天前
|
存储 安全 关系型数据库
Mysql 的binlog日志的优缺点
MySQL的binlog（二进制日志）是一个记录数据库更改的日志文件，它包含了所有对数据库执行的更改操作，如INSERT、UPDATE和DELETE等。binlog的主要目的是复制和恢复。以下是binlog日志的优缺点： ### 优点： 1. **数据恢复**：当数据库出现意外故障或数据丢失时，可以利用binlog进行点恢复（point-in-time recovery），将数据恢复到某一特定时间点。 2. **主从复制**：binlog是实现MySQL主从复制功能的核心组件。主服务器将binlog中的事件发送到从服务器，从服务器再重放这些事件，从而实现数据的同步。 3. **审计**：b
liuyunshengsir
26 1
风水道人
|
27天前
|
SQL 关系型数据库 MySQL
mysql的binlog恢复数据
mysql的binlog恢复数据
风水道人
29 0
风水道人
|
29天前
|
关系型数据库 MySQL
elasticsearch对比mysql以及使用工具同步mysql数据全量增量
elasticsearch对比mysql以及使用工具同步mysql数据全量增量
风水道人
21 0
小Lee
|
1月前
|
存储 SQL 关系型数据库
创建并配置RDS实例
在阿里云上创建RDS实例涉及登录控制台、进入RDS管理页面、创建实例、选择数据库引擎和版本、配置实例规格与存储、设定网络与安全组、设置实例信息、确认订单并支付，最后初始化数据库。操作步骤可能因界面更新或数据库引擎不同略有差异。
小Lee
19 1
海风极客
|
2月前
|
存储 SQL 安全
浅谈MySQL Binlog
浅谈MySQL Binlog
海风极客
45 0
李振良_阿良
|
2天前
|
关系型数据库 MySQL 数据库
一台MySQL数据库启动多个实例
一台MySQL数据库启动多个实例
李振良_阿良
11 0
小Lee
|
1月前
|
关系型数据库 MySQL 数据库
初始化RDS实例
初始化RDS实例
小Lee
15 3
小Lee
|
1月前
|
SQL 关系型数据库 MySQL
购买阿里云RDS实例
购买阿里云RDS实例
小Lee
166 2
小Lee
|
1月前
|
弹性计算 关系型数据库 MySQL
连接RDS实例
连接RDS实例
小Lee
12 1
Srlua
|
1月前
|
SQL 关系型数据库 MySQL
MySQL多实例部署：从概念到实操的全面指南
MySQL多实例部署：从概念到实操的全面指南
Srlua
40 0

热门文章

最新文章

  • 1
    超1/3中国500强企业都在用的「汇联易」，为什么选用阿里云RDS？
  • 2
    MySQL全局库表查询准确定位字段
  • 3
    MySQL学习（三）
  • 4
    安装Docker&镜像容器操作&使用Docker安装部署MySQL，Redis，RabbitMQ，Nacos，Seata，Minio
  • 5
    在Python Web开发过程中：数据库与缓存，MySQL和NoSQL数据库的主要差异是什么？
  • 6
    轻松入门MySQL：深入探究MySQL的ER模型，数据库设计的利器与挑战（22）
  • 7
    【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南（8.0版本升级篇）
  • 8
    MySQL数据库，可以使用二进制日志（binary log）进行时间点恢复
  • 9
    MySQL学习（五）
  • 10
    MySQL学习（七）
  • 1
    Flink CDC产品常见问题之binlog 过期如何解决
    42
  • 2
    binlog,undolog,redolog
    42
  • 3
    binlog 日志的三种格式
    27
  • 4
    Flink cdc报错问题之消费binlog报错如何解决
    144
  • 5
    MySQL Binlog深度解析：进阶应用与实战技巧【进阶应用】
    44
  • 6
    解析MySQL Binlog：从零开始的入门指南【binlog入门指南】
    1139
  • 7
    Binlog vs. Redo Log：数据库日志的较劲【高级】
    80
  • 8
    Binlog vs. Redo Log：数据库日志的较劲【基础】
    176
  • 9
    Mysql专栏 - mysql、innodb存储引擎、binlog的工作流程
    79
  • 10
    MySQL-binlog日志原理
    25

    • 相关课程

    更多
  • MySQL企业常见架构与调优经验分享
  • 云数据库MySQL版快速上手教程
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • MySQL实战进阶
  • 数据库及SQL/MySQL基础
  • 云数据库MySQL快速入门

    • 相关电子书

    更多
  • 搭建电商项目架构连接MySQL
  • 搭建4层电商项目架构，实战连接MySQL
  • PolarDB MySQL引擎重磅功能及产品能力盛大发布

    • 相关实验场景

    更多
  • 极致弹性的PolarDB Serverless确保数据业务持续在线
  • 云端MySQL的安装及应用
  • 体验PolarDB MySQL多主集群
  • 基于ECS+RDS的在线留言系统
  • 如何通过RDS MySQL数据库内网访问
  • RDS MySQL Serverless资源与负载自适应

    • 推荐镜像

    更多
  • mysql
  • postgresql
  • mariadb
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）