MySQL实战系列4: 主从复制、读写分离、备份恢复全解析

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

作者介绍

索宁擅长Python开发、MySQL、前端等众多技术领域,曾负责众多企业安全架构解决方案 ,涉猎行业有媒体、出版社、航空运输、医疗、军队、政府、教育等。

 

一、MySQL主从复制

 

1、简介

 

我们为什么要用主从复制?

 

主从复制目的:

  1. 可以做数据库的实时备份,保证数据的完整性;

  2. 可做读写分离,主服务器只管写,从服务器只管读,这样可以提升整体性能。

 

原理图:

从上图可以看出,同步是靠log文件同步读写完成的。

 

2、更改配置文件

 

两天机器都操作,确保 server-id 要不同,通常主ID要小于从ID。一定注意。

# 3306和3307分别代表2台机器

# 打开log-bin,并使server-id不一样

#vim /data/3306/my.cnf

log-bin = /data/3306/mysql-bin

server-id = 1

#vim /data/3307/my.cnf

log-bin = /data/3307/mysql-bin

server-id = 3

#检查

1、

[root@bogon ~]# egrep "log-bin|server-id" /data/3306/my.cnf

log-bin = /data/3306/mysql-bin

server-id = 1

[root@bogon ~]# egrep "log-bin|server-id" /data/3307/my.cnf 

log-bin = /data/3307/mysql-bin

server-id = 3

2、

[root@localhost ~]# mysql -uroot -p -S /data/3306/mysql.sock -e "show variables like 'log_bin';"

Enter password:

+--------+--------+

| Variable_name | Value |

+--------+--------+

| log_bin       | ON  |    # ON 为开始开启成功

+--------+--------+

 

3、建立用于从库复制的账号rep

 

通常会创建一个用于主从复制的专用账户,不要忘记授权。

# 主库授权,允许从库来连接我取日志

[root@localhost ~]# mysql -uroot -p -S /data/3306/mysql.sock

Enter password:

# 允许从库192.168.200网段连接,账号rep,密码nick。

mysql> grant replication slave on *.* to 'rep'@'192.168.200.%' identified by 'nick';

Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

# 检查创建的rep账号:

mysql> select user,host from mysql.user;

+-----+-------------+

| user | host              |

+-----+--------------+

| root | 127.0.0.1          |

| rep  | 192.168.200.%     |

| root | localhost           |

| root | localhost.localdomain |

+-----+------------------+

7    rows in set (0.00 sec)

 

4、备份主库,及恢复到从库

 

把主库现有数据备份下来,再恢复到从库,此时两个主机的数据一致。

 

如果事先有数据的话,这不不能忘。

 

1)在主库上加锁,使只有只读权限。

mysql> flush table with read lock;

Query OK, 0 rows affected (0.00 sec)

#5.1、5.5锁表命令略有不同。

# 5.1锁表:flush tables with read lock;

# 5.5锁表:flush table with read lock;

 

2)记住就是这个点备份的。

mysql> show master status;

+-------+------+--------+---------+

| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |

+-------+------+--------+---------+

| mysql-bin.000013  |   410 |             |               |

+-------+------+--------+---------+

1 row in set (0.00 sec)

 

3)克隆窗口,备份数据。

[root@bogon ~]# mysqldump -uroot -p -S /data/3306/mysql.sock -A -B --events --master-data=2|gzip >/opt/rep.sql.gz

Enter password:

参数:    -A:备份所有的

#看rep.sql.gz参数

vim /opt/rep.sql.gz

-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000013', MASTER_LOG_POS=410;

 

4)查看master status;数值是否正常。

mysql> show master status;

+------+------+---------+-------+

| File            | Position | Binlog_Do_DB | Binlog_Ignore_DB |

+-------+-----+---------+--------+

| mysql-bin.000013 |    410 |            |                |

+--------+----+---------+--------+

1 row in set (0.00 sec)

 

5)解锁库

mysql> unlock tables;

Query OK, 0 rows affected (0.00 sec)

 

6)恢复到从库

[root@bogon ~]# gunzip < /opt/rep.sql.gz | mysql -uroot -p -S /data/3307/mysql.sock

Enter password:

 

5、配置从库及生效

 

更改从库和主库的连接参数,配置生效。检查就成功了!

 

1)进入从库。

[root@bogon ~]# mysql -uroot -p -S /data/3307/mysql.sock

Enter password:

 

2)更改从属服务器用于与主服务器进行连接和通讯的参数。

mysql> CHANGE MASTER TO

      MASTER_HOST='192.168.200.98',

      MASTER_PORT=3306,

      MASTER_USER='rep',

      MASTER_PASSWORD='nick',

      MASTER_LOG_FILE='mysql-bin.000013',

      MASTER_LOG_POS=410;

Query OK, 0 rows affected (0.01 sec)

 

3)查看更改的参数。

[root@localhost ~]# cd /data/3307/data/

[root@localhost data]# cat master.info

18

mysql-bin.000013

410

192.168.200.98

REP

nick

3306

60

0

0

1800.000

0

 

4)生效!

mysql> start slave;

Query OK, 0 rows affected (0.01 sec)

 

5)检查下列参数,符合则正常!

mysql> show slave status\G

Relay_Master_Log_File: mysql-bin.000013

             Slave_IO_Running: Yes        #取logo。

            Slave_SQL_Running: Yes        #读relay-bin、logo,写数据。

Seconds_Behind_Master: 0        #落后主库的秒数。

 

6)查看relay-bin.logo。

[root@localhost 3307]# cd /data/3307

[root@localhost 3307]# ll

总用量 48

drwxr-xr-x. 9 mysql mysql  4096 10月 29 18:52 data

-rw-r--r--. 1 mysql mysql  1900 10月 29 11:45 my.cnf

-rwx------. 1 root  root   1307 10月 20 17:06 mysql

-rw-rw----. 1 mysql mysql     6 10月 29 11:00 mysqld.pid

-rw-r-----. 1 mysql mysql 15090 10月 29 18:49 mysql_nick3307.err

srwxrwxrwx. 1 mysql mysql     0 10月 29 11:00 mysql.sock

-rw-rw----. 1 mysql mysql   150 10月 29 18:49 relay-bin.000001

-rw-rw----. 1 mysql mysql   340 10月 29 18:52 relay-bin.000002

-rw-rw----. 1 mysql mysql    56 10月 29 18:49 relay-bin.index

-rw-rw----. 1 mysql mysql    53 10月 29 18:52 relay-log.info

 

7)查看relay-log.info。

[root@localhost 3307]# cat relay-log.info

/data/3307/relay-bin.000002

340

mysql-bin.000013

497

 

8)查看master.info。

[root@localhost 3307]# cat data/master.info

18

mysql-bin.000013

497

192.168.200.98

rep

nick

3306

60

0

0

1800.000

0

 

 6、读写分离

 

读写分离在生产环境比比皆是,也是必备技能。

 

忽略MySQL主从复制授权表同步,读写分离。

[root@bogon 3306]# vim my.cnf

#添加以下四行

replicate-ignore-db = mysql

binlog-ignore-db = mysql

binlog-ignore-db = performance_schema

binlog-ignore-db = information_schema

server-id = 1

 

1)通过read-only参数防止数据写入从库的方法。

#修改配置文件。

vim /data/3307/my.cnf

[mysqld]

read-only

#对用户授权事不能指定有super或all privileges权限。不然没效果。

#创建账户suoning,并刷新权限。

mysql> grant select,insert,update,delete on *.* to 'suoning'@'localhost' identified by '123';

Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

#用创建账户登录,并创建库

[root@bogon 3307]# mysql -usuoning -p123 -S /data/3307/mysql.sock

mysql> create user kangkangkang@'192.%' identified by 'old123';

ERROR 1290 (HY000): The MySQL server is running with the --read-only option so it cannot execute this statement

 

2)主从同步故障

A. Last_SQL_Errno: 1007

stop slave;

set global sql_slave_skip_counter = 1;

start slave;

B.忽略

skip-name-resolve        #忽略名字解析

slave-skip-errors = 1032,1062,1007    #忽略故障编号

server-id = 3

 

3)从库开启bin-log

vim my.cnf

log-bin = /data/3307/mysql-bin

log-slave-updates           #表示从库记录bin-log

expire_logs_days = 7        #保留7天bin-log。

 

7、主宕机

 

我们来模拟一下,如果主机宕机了,那我们该如何让从快速替换,让损失降到最小?当然了,双机热备也是一个不错的选择,那下节会给大家讲解。

 

一主多从的环境下,如果主宕机了,选一台从做主,继续和其它从同步。

A.查看每个从库的master.info,看谁的更靠前,最新,更大,丢的数据最少。

[root@localhost 3307]# cat /data/3307/data/master.info

mysql-bin.000015

326

B.确保所有relay log全部更新完毕。

在每个从库上执行stop slave io_thread;show processlist;

知道看到Has read all relay log;表示从库更新都执行完毕。

C.登陆mysql -uroot -p -S /data/3307/mysql.sock

stop slave;

reset master;

quit

D.进入到数据库目录,删除master.info relay-log.info

cd /data/3307/data/

rm -f master.info relay-log.info

E. 3307提升为主库

vim /data/3307/my.cnf

开启log-bin = /data/3307/mysql-bin

如存在log-slave-updates,read-only等一定要注释。

/data/3307/mysql restart

F.其它从库操作

stop slave;

change master to master_host ='192.168.200.98';

start slave;

show slave status\G

 

8、双主

 

使用主主前提:表的主键自增。

 

双主情况下,ID会是这样情况,通过程序指定ID写库M1:1,3,5,M2:2,4,6。

[root@localhost 3307]# vim my.cnf

[mysqld]

auto_increment_increment        = 2

auto_increment_offset           = 2

[root@localhost 3307]# ./mysql restart

[root@localhost 3306]# vim my.cnf

[mysqld]

auto_increment_increment        = 2

auto_increment_offset           = 1

log-bin = /data/3306/mysql-bin

log-slave-updates

[root@localhost 3306]# ./mysql restart

[root@localhost 3306]# mysqldump -uroot -pnick -S /data/3307/mysql.sock -A -B --master-data=1 -x --events > /opt/3307bak.sql

[root@localhost 3306]# mysql -uroot -pnick -S /data/3306/mysql.sock < /opt/3307bak.sql

mysql> CHANGE MASTER TO

      MASTER_HOST='192.168.200.98',

      MASTER_PORT=3307,

      MASTER_USER='rep',

      MASTER_PASSWORD='nick';

mysql> start slave;

Query OK, 0 rows affected (0.00 sec)

mysql> show slave status \G

 

二、MySQL备份及恢复

 

1、备份单个数据库

 

最基础的备份单个数据库。

1>语法:mysqldump –u 用户名 –p 数据库名> 备份的数据库名

2>备份nick_defailt数据库,查看内容。

[root@localhost ~]# mysqldump -uroot -p -B nick_defailt >/opt/mysql_nick_defailt.bak

Enter password:

[root@localhost ~]# egrep -v "#|\*|--|^$" /opt/mysql_nick_defailt.bak

DROP TABLE IF EXISTS `oldsuo`;

CREATE TABLE `oldsuo` (

  `id` int(4) NOT NULL,

  `name` char(20) NOT NULL,

  `age` tinyint(2) NOT NULL DEFAULT '0',

  `dept` varchar(16) DEFAULT NULL

) ENGINE=MyISAM DEFAULT CHARSET=latin1;

LOCK TABLES `oldsuo` WRITE;

INSERT INTO `oldsuo` VALUES (2,'索宁',0,NULL),(3,'索尼',0,NULL),(4,'底底',0,NULL);

UNLOCK TABLES;

DROP TABLE IF EXISTS `student`;

CREATE TABLE `student` (

  `qq` varchar(15) DEFAULT NULL,

  `id` int(4) NOT NULL AUTO_INCREMENT,

  `name` char(20) NOT NULL,

  `suo` int(4) DEFAULT NULL,

  `age` tinyint(2) NOT NULL DEFAULT '0',

  `dept` varchar(16) DEFAULT NULL,

  `sex` char(4) DEFAULT NULL,

  PRIMARY KEY (`id`),

  KEY `index_name` (`name`)

) ENGINE=MyISAM AUTO_INCREMENT=8 DEFAULT CHARSET=latin1;

LOCK TABLES `student` WRITE;

INSERT INTO `student` VALUES (NULL,2,'oldsuo',NULL,0,NULL,NULL),(NULL,3,'kangknag',NULL,0,NULL,NULL),(NULL,4,'kangkang',NULL,0,NULL,NULL),(NULL,5,'oldsuo',NULL,0,NULL,NULL),(NULL,6,'kangknag',NULL,0,NULL,NULL),(NULL,7,'kangkang',NULL,0,NULL,NULL);

UNLOCK TABLES;

3>启用压缩备份数据库

[root@localhost~]#mysqldump -uroot -p -B nick_defailt|gzip>/opt/mysql_nick_defailt.bak.gz

Enter password:

[root@localhost ~]# ll /opt/

总用量 28

-rw-r--r--. 1 root root 2109 10月 24 16:36 data_bak.sq2

-rw-r--r--. 1 root root 2109 10月 24 16:36 data_bak.sql

-rw-r--r--. 1 root root 1002 10月 27 11:55 mysql_nick_defailt.bak

-rw-r--r--. 1 root root 1002 10月 27 11:56 mysql_nick_defailt.bak.gz

-rw-r--r--. 1 root root 3201 10月 27 11:46 mysql_nick_defailt_B.bak

drwxr-xr-x. 2 root root 4096 11月 22 2013 rh

-rw-r--r--. 1 root root 1396 10月 24 16:11 student_bak.sql

4>恢复nick_defailt数据库

[root@localhost ~]# mysql -uroot -p nick_defailt </opt/mysql_nick_defailt.bak 

Enter password:

#加-B恢复方法

[root@localhost ~]#  mysql -uroot -p  </opt/mysql_nick_defailt_B.bak               

Enter password:

5>总结

1、备份用-B参数。增加use db,和create database的信息。

2、用gzip对备份的数据压缩。

 

2、备份多个数据库

 

备份多个数据库的情况呢?

#多个数据库名中间加空格

[root@localhost ~]# mysqldump -uroot -p -B nick_defailt oldsuo oldsuo_1|gzip>/opt/mul.sql.gz

Enter password:

 

3、备份单个及多个表

 

那如果备份单个和多个表,怎么办?

1>语法:mysqldump -u 用户名 -p 数据库名 表名 > 备份的文件名

[root@localhost ~]# mysqldump -uroot -p nick_defailt student >/opt/mysql_nick_defailt_student.bak

Enter password:

2>语法:mysqldump -u 用户名 -p 数据库名 表名1  表名2  > 备份的文件名

[root@localhost ~]# mysqldump -uroot -p  nick_defailt student oldsuo >/opt/mysql_nick_defailt.bak       

Enter password:

 

4、mysqldump 的参数

 

mysqldump 的关键参数

-B指定多个库,增加建库语句和use语句。

--compact去掉注释,适合调试输出,生产不用。

-A 备份所有库。

-F刷新binlog日志。

--master-data 增加binlog日志文件名及对应的位置点。

-x,--lock-all-tables

-l,--locktables

-d 只备份表结构

-t 只备份数据

--single-transaction 适合innodb事务数据库备份。

 

5、增量恢复

 

重要的来了,生产环境一般是增量备份与恢复;所谓增量,就是在原数据的基础上继续添加数据,不必每次都重新添加,省时省力。

A:增量恢复必备条件:

1.开启MySQL数据库log-bin参数记录binlog日志。

[root@localhost 3306]# grep log-bin /data/3306/my.cnf

log-bin = /data/3306/mysql-bin

2.存在数据库全备。

B:生产环境 mysqldump备份命令:

# 进行数据库全备,(生产环境还通过定时任务每日凌晨执行)

mysqldump -uroot -pnick -S /data/3306/mysql.sock --default-character-set=gbk --single-transaction -F -B nick |gzip >/server/backup/mysql_$(date +%F).sql.gz

# innodb引擎备份

mysqldump -u$MYUSER -p$MYPASS -S $MYSOCK -F --single-transaction -A -B |gzip >$DATA_FILE

# myisam引擎备份

mysqldump -u$MYUSER -p$MYPASS -S $MYSOCK -F -A -B --lock-all-tables |gzip >$DATA_FILE

C:恢复:

# 通过防火墙禁止web等应用向主库写数据或者锁表。让主库暂时停止更新,然后再进行恢复。

# 误操作删除nick库!

1.检查全备及binlog日志

[root@localhost 3306]# cd /server/backup/

[root@localhost backup]# gzip -d mysql_2015-10-31.sql.gz

[root@localhost backup]# vim mysql_2015-10-31.sql

[root@localhost backup]# grep -i "change" mysql_2015-10-31.sql

 

2.立即刷新并备份出binlog

[root@localhost 3306]# mysqladmin -uroot -pnick -S /data/3306/mysql.sock flush-logs

[root@localhost 3306]# cp /data/3306/mysql-bin.000030 /server/backup/

#误操作log-bin,倒数第二

[root@localhost backup]# mysqlbinlog -d nick mysql-bin.000030 >bin.sql    #导出为.sql格式。

[root@localhost backup]# vim bin.sql

找到语句drop database nick删除!!!(误操作语句)

 

3.恢复

[root@localhost backup]# mysql -uroot -pnick -S /data/3306/mysql.sock <mysql_2015-10-31.sql        #恢复之前的数据库全备

[root@localhost backup]# mysql -uroot -pnick -S /data/3306/mysql.sock nick < bin.sql

#恢复删除误操作语言的bin-log。

# 搞定!!!

原文发布时间为:2016-12-05

本文来自云栖社区合作伙伴DBAplus

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
缓存 关系型数据库 MySQL
MySQL索引策略与查询性能调优实战
在实际应用中,需要根据具体的业务需求和查询模式,综合运用索引策略和查询性能调优方法,不断地测试和优化,以提高MySQL数据库的查询性能。
184 66
|
10天前
|
存储 缓存 算法
HashMap深度解析:从原理到实战
HashMap,作为Java集合框架中的一个核心组件,以其高效的键值对存储和检索机制,在软件开发中扮演着举足轻重的角色。作为一名资深的AI工程师,深入理解HashMap的原理、历史、业务场景以及实战应用,对于提升数据处理和算法实现的效率至关重要。本文将通过手绘结构图、流程图,结合Java代码示例,全方位解析HashMap,帮助读者从理论到实践全面掌握这一关键技术。
48 13
|
10天前
|
SQL 关系型数据库 MySQL
深入解析MySQL的EXPLAIN:指标详解与索引优化
MySQL 中的 `EXPLAIN` 语句用于分析和优化 SQL 查询,帮助你了解查询优化器的执行计划。本文详细介绍了 `EXPLAIN` 输出的各项指标,如 `id`、`select_type`、`table`、`type`、`key` 等,并提供了如何利用这些指标优化索引结构和 SQL 语句的具体方法。通过实战案例,展示了如何通过创建合适索引和调整查询语句来提升查询性能。
91 9
|
6天前
|
物联网 调度 vr&ar
鸿蒙HarmonyOS应用开发 |鸿蒙技术分享HarmonyOS Next 深度解析:分布式能力与跨设备协作实战
鸿蒙技术分享:HarmonyOS Next 深度解析 随着万物互联时代的到来,华为发布的 HarmonyOS Next 在技术架构和生态体验上实现了重大升级。本文从技术架构、生态优势和开发实践三方面深入探讨其特点,并通过跨设备笔记应用实战案例,展示其强大的分布式能力和多设备协作功能。核心亮点包括新一代微内核架构、统一开发语言 ArkTS 和多模态交互支持。开发者可借助 DevEco Studio 4.0 快速上手,体验高效、灵活的开发过程。 239个字符
155 13
鸿蒙HarmonyOS应用开发 |鸿蒙技术分享HarmonyOS Next 深度解析:分布式能力与跨设备协作实战
|
5天前
|
自然语言处理 搜索推荐 数据安全/隐私保护
鸿蒙登录页面好看的样式设计-HarmonyOS应用开发实战与ArkTS代码解析【HarmonyOS 5.0(Next)】
鸿蒙登录页面设计展示了 HarmonyOS 5.0(Next)的未来美学理念,结合科技与艺术,为用户带来视觉盛宴。该页面使用 ArkTS 开发,支持个性化定制和无缝智能设备连接。代码解析涵盖了声明式 UI、状态管理、事件处理及路由导航等关键概念,帮助开发者快速上手 HarmonyOS 应用开发。通过这段代码,开发者可以了解如何构建交互式界面并实现跨设备协同工作,推动智能生态的发展。
68 10
鸿蒙登录页面好看的样式设计-HarmonyOS应用开发实战与ArkTS代码解析【HarmonyOS 5.0(Next)】
|
9天前
|
关系型数据库 MySQL 数据库
docker高级篇(大厂进阶):安装mysql主从复制
docker高级篇(大厂进阶):安装mysql主从复制
69 24
|
1天前
|
安全 API 数据安全/隐私保护
速卖通AliExpress商品详情API接口深度解析与实战应用
速卖通(AliExpress)作为全球化电商的重要平台,提供了丰富的商品资源和便捷的购物体验。为了提升用户体验和优化商品管理,速卖通开放了API接口,其中商品详情API尤为关键。本文介绍如何获取API密钥、调用商品详情API接口,并处理API响应数据,帮助开发者和商家高效利用这些工具。通过合理规划API调用策略和确保合法合规使用,开发者可以更好地获取商品信息,优化管理和营销策略。
|
18天前
|
数据采集 DataWorks 搜索推荐
阿里云DataWorks深度评测:实战视角下的全方位解析
在数字化转型的大潮中,高效的数据处理与分析成为企业竞争的关键。本文深入评测阿里云DataWorks,从用户画像分析最佳实践、产品体验、与竞品对比及Data Studio公测体验等多角度,全面解析其功能优势与优化空间,为企业提供宝贵参考。
98 13
|
12天前
|
存储 关系型数据库 MySQL
double ,FLOAT还是double(m,n)--深入解析MySQL数据库中双精度浮点数的使用
本文探讨了在MySQL中使用`float`和`double`时指定精度和刻度的影响。对于`float`,指定精度会影响存储大小:0-23位使用4字节单精度存储,24-53位使用8字节双精度存储。而对于`double`,指定精度和刻度对存储空间没有影响,但可以限制数值的输入范围,提高数据的规范性和业务意义。从性能角度看,`float`和`double`的区别不大,但在存储空间和数据输入方面,指定精度和刻度有助于优化和约束。
|
15天前
|
数据采集 存储 JavaScript
网页爬虫技术全解析:从基础到实战
在信息爆炸的时代,网页爬虫作为数据采集的重要工具,已成为数据科学家、研究人员和开发者不可或缺的技术。本文全面解析网页爬虫的基础概念、工作原理、技术栈与工具,以及实战案例,探讨其合法性与道德问题,分享爬虫设计与实现的详细步骤,介绍优化与维护的方法,应对反爬虫机制、动态内容加载等挑战,旨在帮助读者深入理解并合理运用网页爬虫技术。

热门文章

最新文章

推荐镜像

更多