MySQL数据备份实践和整理

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: MySQL数据备份实践和整理

本文部分内容参考来了以下文章:

blog.csdn.net/helloxiaozh…

c.biancheng.net/view/1092.h…


感谢这两位博主的分享


今天主要来整理下关于MySQL的安全备份问题。


最近遇到一个任务,需要对一台服务器上边的数据进行安全备份,为此我特地整理了常见的安全备份方案。


按照常见的备份手段,数据备份可以划分为热备份,冷备份,温备份


下边我简单讲解下这几种备份的不同:


热备份:直接对运行中的数据做安全导出备份,但是没有做任何额外安全处理,有可能导出的数据具有部分不完整性。


冷备份:这种备份手段就是直接拷贝数据库的物理文件。注意不同版本的mysql数据文件格式可能不同。


温备份:直接对运行中的数据做安全导出备份,期间需要加一把读锁防止其余正在访问的线程影响当前备份数据的完整性。


从备份的数据角度来看,备份数据的格式又分为逻辑备份裸文件备份,其实就是对应了sql信息和mysql的原始物理文件。


前者简单易懂,但是备份时间较长,后者的实现原理更为复杂,但是功能更为强大。


冷备份的优点:

简单好用,不需要额外导出sql,也不需要重新建立索引等数据。


冷备份的缺点:

由于原始文件里存储量相关的undo段,插入缓冲等信息,所以往往这类文件的体积都会比较大。


mysqldump的实战:


场景1,对单个数据库对指定某张表做热备份。


[root@izwz9ic9ggky8kub9x1ptuz mysql-dump]# mysqldump -uroot -p test-db02 user_money > backup_user_money.sql
Enter password: 
[root@izwz9ic9ggky8kub9x1ptuz mysql-dump]# ls
backup_user_money.sql
复制代码


这种方式的备份主要是包含了建表的sql和一些数据插入的sql信息。


[root@izwz9ic9ggky8kub9x1ptuz mysql-dump]# cat ./backup_user_money.sql 
-- MySQL dump 10.13  Distrib 5.7.24, for Linux (x86_64)
--
-- Host: localhost    Database: test-db02
-- ------------------------------------------------------
-- Server version 5.7.24
/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES utf8 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;
--
-- Table structure for table `user_money`
--
DROP TABLE IF EXISTS `user_money`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `user_money` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `username` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,
  `money` double(6,0) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;
/*!40101 SET character_set_client = @saved_cs_client */;
--
-- Dumping data for table `user_money`
--
LOCK TABLES `user_money` WRITE;
/*!40000 ALTER TABLE `user_money` DISABLE KEYS */;
INSERT INTO `user_money` VALUES (1,'idea',995);
/*!40000 ALTER TABLE `user_money` ENABLE KEYS */;
UNLOCK TABLES;
/*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;
/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS */;
/*!40014 SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS */;
/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;
/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;
-- Dump completed on 2020-04-18 15:53:26
[root@izwz9ic9ggky8kub9x1ptuz mysql-dump]# 
复制代码


如果需要备份整个数据库的信息,那么可以执行下边这条命令:


[root@izwz9ic9ggky8kub9x1ptuz mysql-dump]# mysqldump -uroot -p mall > mall.sql
Enter password: 
[root@izwz9ic9ggky8kub9x1ptuz mysql-dump]# ls
mall.sql
复制代码


关于导入导出的sql主要规律如上,剩下的都是参数指令的用法: 备份导出示例: 1、导出数据和表结构——将特定数据库特定表中的数据和表格结构和数据全部返回 ```sql mysqldump --u b_user -h 101.3.20.33 -p'H_password' -P3306 database_di up_subjects > 0101_0630_up_subjects.sql ``` 2、导出表结构却不导出表数据——只返回特定数据库特定表格的表格结构,不返回数据,添加“-d”命令参数


mysqldump --u  b_user -h 101.3.20.33 -p'H_password'  -P3306 -d database_di up_subjects > 0101_0630_up_subjects.sql
复制代码


3、导出表结构和满足挑顶条件的表数据——只返回特定数据库中特定表的表格结构和满足特定条件的数据


mysqldump --u  b_user -h 101.3.20.33 -p'H_password'  -P3306 database_di up_subjects --where=" ctime>'2017-01-01' and ctime<'2017-06-30'" > 0101_0630_up_subjects.sql
复制代码


4、导出数据却不导出表结构——只返回特定数据库中特定表格的数据,不返回表格结构,添加“-t”命令参数


mysqldump --u  b_user -h 101.3.20.33 -p'H_password' -t -P3306 database_di up_subjects  >0101_0630_up_subjects.sql
复制代码


5、导出特定数据库的所有表格的表结构及其数据,添加“–databases ”命令参数


mysqldump  --u  b_user -h 101.3.20.33 -p'H_password' -P3306 --databases test  > all_database.sql
复制代码


同理,如果需要导入数据的话,可以使用下边这命令: 格式:mysql -h链接ip -P(大写)端口 -u用户名 -p密码 数据库名 < d:XX.sql(路劲) ```sql mysql -uusername -ppassword db1


更多详细信息可以参考这篇文章内容:blog.csdn.net/helloxiaozh…


编写定时任务crontab的脚本


关于定时任务脚本的编写这里使用的是linux自带的crond提供的功能来实现。

这里我先介绍下什么是crond


crond是linux系统内部自带的一个用于周期性执行定时任务的守护线程。


如何设置crond线程的启动和关闭


[root@localhost ~]# service crond restart
停止 crond: [确定]
正在启动 crond: [确定]
#重新启动crond服务
[root@localhost ~]# chkconfig crond on
#设定crond服务为开机自启动
复制代码


其实crontab的编写并不复杂,只需要输入crontab -e指令,然后便会有个类似vi的编辑文本框开启供程序员输入相关的定时脚本。


[root@localhost !]# crontab -e
#进入 crontab 编辑界面。会打开Vim编辑你的任务
* * * * * 执行的任务
复制代码


这里的五个*参数的含义分别如下所示:


第一个"*"  一小时当中的第几分钟(minute)  0~59
第二个"*"  一天当中的第几小时(hour) 0~23
第三个"*"  一个月当中的第几天(day)  1~31
第四个"*"  一年当中的第几个月(month)  1~12
第五个"*"  一周当中的星期几(week)  0~7(0和7都代表星期日)
复制代码


关于crontab的更多相关信息可以参考这篇文章:c.biancheng.net/view/1092.h…


下边是我写的一个每天凌晨进行sql备份的脚本内容:


首先是crontab的内容,非常简答的一段命令,并且将定时任务输出到了日志里面


30 21 * * * /data/mysql-dump/script/backupShell.sh >> /data/mysql-dump/script/backup.log
复制代码


最后是备份的脚本内容:


echo "$(date) now is begin to backup"
backup_dir="/data/mysql_dump"
time=$(date +%Y%m%d)
mysqldump -uroot -p'数据库密码'  idea-blog > idea-blog-$time.sql
echo $backup_dir/idea-blog-$time.sql
复制代码


通过这种方式来进行数据库备份。


当然由于笔者只有一台服务器做测试,所以单纯只是备份在了本机上,这样的做法有一定的单点故障风险,所以其实并不是特别推荐,如果有条件的话,可以做成多机备份的方式。目前市面上也有很多成熟的备份方案,不仅仅只限于逻辑数据文件的备份,还有原始文件的备份。这里我列举几项常见的方案:


方案一:mysqldump+binlog: ( 推荐)

完全备份,通过备份二进制日志实现增量备份


方案二: xtrabackup:

对InnoDB:热备,支持完全备份和增量备份

对MyISAM:温备,只支持完全备份


方案三: lvm2快照+binlog:

几乎热备,物理备份

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
安全 关系型数据库 MySQL
PHP与MySQL交互:从入门到实践
【9月更文挑战第20天】在数字时代的浪潮中,掌握PHP与MySQL的互动成为了开发动态网站和应用程序的关键。本文将通过简明的语言和实例,引导你理解PHP如何与MySQL数据库进行对话,开启你的编程之旅。我们将从连接数据库开始,逐步深入到执行查询、处理结果,以及应对常见的挑战。无论你是初学者还是希望提升技能的开发者,这篇文章都将为你提供实用的知识和技巧。让我们一起探索PHP与MySQL交互的世界,解锁数据的力量!
|
11天前
|
关系型数据库 MySQL Linux
Linux环境下MySQL数据库自动定时备份实践
数据库备份是确保数据安全的重要措施。在Linux环境下,实现MySQL数据库的自动定时备份可以通过多种方式完成。本文将介绍如何使用`cron`定时任务和`mysqldump`工具来实现MySQL数据库的每日自动备份。
29 3
|
10天前
|
存储 监控 关系型数据库
MySQL自增ID耗尽解决方案:应对策略与实践技巧
在MySQL数据库中,自增ID(AUTO_INCREMENT)是一种特殊的属性,用于自动为新插入的行生成唯一的标识符。然而,当自增ID达到其最大值时,会发生什么?又该如何解决?本文将探讨MySQL自增ID耗尽的问题,并提供一些实用的解决方案。
18 1
|
25天前
|
NoSQL 关系型数据库 MySQL
MySQL与Redis协同作战:百万级数据统计优化实践
【10月更文挑战第21天】 在处理大规模数据集时,传统的单体数据库解决方案往往力不从心。MySQL和Redis的组合提供了一种高效的解决方案,通过将数据库操作与高速缓存相结合,可以显著提升数据处理的性能。本文将分享一次实际的优化案例,探讨如何利用MySQL和Redis共同实现百万级数据统计的优化。
64 9
|
1月前
|
消息中间件 监控 关系型数据库
MySQL数据实时同步到Elasticsearch:技术深度解析与实践分享
在当今的数据驱动时代,实时数据同步成为许多应用系统的核心需求之一。MySQL作为关系型数据库的代表,以其强大的事务处理能力和数据完整性保障,广泛应用于各种业务场景中。然而,随着数据量的增长和查询复杂度的提升,单一依赖MySQL进行高效的数据检索和分析变得日益困难。这时,Elasticsearch(简称ES)以其卓越的搜索性能、灵活的数据模式以及强大的可扩展性,成为处理复杂查询需求的理想选择。本文将深入探讨MySQL数据实时同步到Elasticsearch的技术实现与最佳实践。
88 0
|
3月前
|
SQL 关系型数据库 MySQL
在Linux中,mysql 数据备份工具有哪些?
在Linux中,mysql 数据备份工具有哪些?
|
3月前
|
API C# 开发框架
WPF与Web服务集成大揭秘:手把手教你调用RESTful API,客户端与服务器端优劣对比全解析!
【8月更文挑战第31天】在现代软件开发中,WPF 和 Web 服务各具特色。WPF 以其出色的界面展示能力受到欢迎,而 Web 服务则凭借跨平台和易维护性在互联网应用中占有一席之地。本文探讨了 WPF 如何通过 HttpClient 类调用 RESTful API,并展示了基于 ASP.NET Core 的 Web 服务如何实现同样的功能。通过对比分析,揭示了两者各自的优缺点:WPF 客户端直接处理数据,减轻服务器负担,但需处理网络异常;Web 服务则能利用服务器端功能如缓存和权限验证,但可能增加服务器负载。希望本文能帮助开发者根据具体需求选择合适的技术方案。
160 0
|
3月前
|
SQL 关系型数据库 MySQL
(二十五)MySQL主从实践篇:超详细版读写分离、双主热备架构搭建教学
在上篇《主从原理篇》中,基本上把主从复制原理、主从架构模式、数据同步方式、复制技术优化.....等各类细枝末节讲清楚了,本章则准备真正对聊到的几种主从模式落地实践,但实践的内容通常比较枯燥乏味,因为就是调整各种配置、设置各种参数等步骤。
550 2
|
3月前
|
存储 关系型数据库 MySQL
深入MySQL:事务日志redo log详解与实践
【8月更文挑战第24天】在MySQL的InnoDB存储引擎中,为确保事务的持久性和数据一致性,采用了redo log(重做日志)机制。redo log记录了所有数据修改,在系统崩溃后可通过它恢复未完成的事务。它由内存中的redo log buffer和磁盘上的redo log file组成。事务修改先写入buffer,再异步刷新至磁盘,最后提交事务。若系统崩溃,InnoDB通过redo log重放已提交事务并利用undo log回滚未提交事务,确保数据完整。理解redo log工作流程有助于优化数据库性能和确保数据安全。
559 0
|
3月前
|
SQL 存储 关系型数据库
运维笔记.MySQL.基于mysqldump数据备份与恢复
运维笔记.MySQL.基于mysqldump数据备份与恢复
53 0