MySQL分库,分表备份的思路和方法

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介:

分库备份的意义是什么 ? 

  有时一个企业的数据库里面有多个库,例如(www,bbs,cms),但是出问题时可能是某一个库,如果在备份时候把所有的库备份成一个数据文件的话,恢复数据就比较麻烦。


分库分表的缺点:文件多,碎

1,备份一个完整全备,再做一个分库分表的备份

2,脚本批量服务多个SQL文件

3,数据量太大不合适以上方法


#以下是完整的分库,分表的备份脚本和思路




分库:

1)编程思想

1
2
3
  
mysqldump -uroot -p db1 >db1.sql
mysqldump -uroot -p db2 >db2.sql

2)拿到库名,列表

 

 

1
2
3
4
mysql -uroot -p123456 -e  "show databases" |
  grep  -Evi  "database|information_schema|performance_schema"  |
  sed  -r 's #^([a-z].*$)#mysqldump -uroot -p123456 --events -B \1 |
  gzip  > /root/back/ \1.sql.gz #g'|sh



3)循环db,dump

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#!/bin/bash
#Date
#by
#Desc
MYUSER=root
MYPASSWD=123456
BACKDIR= "/root/back"
MYHOST= '127.0.0.1'
MYCMD= "mysql -u$MYUSER -p$MYPASSWD  -h$MYHOST"
MYDUMP= "mysqldump -u$MYUSER -p$MYPASSWD  -h$MYHOST -x -E -B -F -R "
DBLIST=`$MYCMD   -e  "show databases;" | grep  -Evi  "database|_schema|mysql" `
[ ! -d $BACKDIR ] &&  mkdir  $BACKDIR
for  dbname  in  $DBLIST 
do
     $MYDUMP $dbname| gzip  > $BACKDIR/${dbname}_$( date  +%F).sql.gz 
done


分表:

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
#!/bin/bash
#Date
#by
#Desc
MYUSER=root
MYPASSWD=123456
BACKDIR= "/root/back"
MYHOST= '127.0.0.1'
MYCMD= "mysql -u$MYUSER -p$MYPASSWD  -h$MYHOST"
MYDUMP= "mysqldump -u$MYUSER -p$MYPASSWD  -h$MYHOST -x "
DBLIST=`$MYCMD   -e  "show databases;" | grep  -Evi  "database|_schema|mysql" `
[ ! -d $BACKDIR ] &&  mkdir  $BACKDIR
for  dbname  in  $DBLIST 
do 
     TLIST=`$MYCMD -e  "show tables from $dbname;"  | sed  1d`
     for  tname  in  $TLIST
     do
       mkdir  -p $BACKDIR/$dbname
       $MYDUMP $dbname $tname| gzip  > $BACKDIR/${dbname}/${dbname}_${tname}_$( date  +%F).sql.gz 
     done
done





      本文转自crazy_charles 51CTO博客,原文链接:http://blog.51cto.com/douya/1788002 ,如需转载请自行联系原作者




相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
4月前
|
人工智能 运维 关系型数据库
数据库运维:mysql 数据库迁移方法-mysqldump
本文介绍了MySQL数据库迁移的方法与技巧,重点探讨了数据量大小对迁移方式的影响。对于10GB以下的小型数据库,推荐使用mysqldump进行逻辑导出和source导入;10GB以上可考虑mydumper与myloader工具;100GB以上则建议物理迁移。文中还提供了统计数据库及表空间大小的SQL语句,并讲解了如何使用mysqldump导出存储过程、函数和数据结构。通过结合实际应用场景选择合适的工具与方法,可实现高效的数据迁移。
846 1
|
2月前
|
存储 关系型数据库 MySQL
MySQL数据库中进行日期比较的多种方法介绍。
以上方法提供了灵活多样地处理和对比MySQL数据库中存储地不同格式地日子信息方式。根据实际需求选择适当方式能够有效执行所需操作并保证性能优化。
306 10
|
2月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
223 10
|
3月前
|
SQL Oracle 关系型数据库
比较MySQL和Oracle数据库系统,特别是在进行分页查询的方法上的不同
两者的性能差异将取决于数据量大小、索引优化、查询设计以及具体版本的数据库服务器。考虑硬件资源、数据库设计和具体需求对于实现优化的分页查询至关重要。开发者和数据库管理员需要根据自身使用的具体数据库系统版本和环境,选择最合适的分页机制,并进行必要的性能调优来满足应用需求。
159 11
|
4月前
|
存储 关系型数据库 MySQL
【赵渝强老师】使用select...into outfile语句备份MySQL
本文介绍了MySQL中使用`SELECT...INTO OUTFILE`语句将表数据导出为文本文件的方法。通过示例演示了如何备份员工表(emp)的数据,包括创建存储目录、设置权限、配置参数`secure_file_priv`以及解决相关错误的过程。字段分隔符和行终止符可自定义,确保数据格式符合需求。最后展示了备份文件的内容,验证操作成功。
320 36
|
4月前
|
存储 SQL 关系型数据库
【赵渝强老师】使用mysqldump备份MySQL
本文介绍了 MySQL 自带的逻辑备份工具 mysqldump 的使用方法。通过 mysqldump,可以将数据库中的数据转换为对应的 SQL 插入语句,便于备份和还原。文章详细说明了如何备份所有数据库、指定数据库及特定表,排除某些表不备份的操作,以及删除数据库后如何通过备份文件恢复数据。同时提供了视频讲解和具体命令示例,帮助用户更好地理解和应用该工具。
195 5
|
4月前
|
存储 SQL 关系型数据库
【赵渝强老师】使用mydumper备份MySQL
本文介绍了使用mydumper工具进行MySQL数据库备份与恢复的操作方法。相比单线程工作的mysqldump,mydumper支持多线程,速度提升可达10倍。其功能包括事务性表快照、快速压缩、导出binlog等,并提供详细的参数说明和操作步骤。文章通过实例演示了安装mydumper、创建存储目录、全库备份、指定数据库及表备份、删除数据库以及使用myloader恢复数据的完整流程,并附带视频讲解,帮助用户更好地理解和应用该工具。
160 0
|
4月前
|
关系型数据库 MySQL
MySQL字符串拼接方法全解析
本文介绍了四种常用的字符串处理函数及其用法。方法一:CONCAT,用于基础拼接,参数含NULL时返回NULL;方法二:CONCAT_WS,带分隔符拼接,自动忽略NULL值;方法三:GROUP_CONCAT,适用于分组拼接,支持去重、排序和自定义分隔符;方法四:算术运算符拼接,仅适用于数值类型,字符串会尝试转为数值处理。通过示例展示了各函数的特点与应用场景。
|
1月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
82 3
|
1月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。

推荐镜像

更多