Mysql配置Replication主从复制-实现读写分离

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 概述:Mysql集群的方式可以是很多的,主从,一主多从,多组多从,主从的策略还可以进一步选择和配置。可以说是很灵活了。本文介绍的Replication是异步复制同步方案,分别有基于日志的还有基于GTID的。

概述:Mysql集群的方式可以是很多的,主从,一主多从,多组多从,主从的策略还可以进一步选择和配置。可以说是很灵活了。本文介绍的Replication是异步复制同步方案,分别有基于日志的还有基于GTID的。在docker环境下体验一下。

Replication

Replication是mysql异步复制同步方案,不难理解。异步复制速度快,但是一致性差。对于一些不特别重要的数据可以采用这总方案来同步,比如说日志这些数据。对业务影响不大的数据。

拉取mysql 5.7镜像

docker pull mysql:5.7

docker images 查看镜像

img_1c8e925519796256be87d95f4db94f8e.png

实例化两个docker容器

echo "Asia/shanghai" > /home/jorge/docker/mysql-master/timezone

docker run -p 3308:3306 \
--name mysql-master \
-v /home/jorge/docker/mysql-master/conf:/etc/mysql/conf.d \
-v /home/jorge/docker/mysql-master/logs:/logs \
-v /home/jorge/docker/mysql-master/data:/var/lib/mysql \
-v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \
-v /home/jorge/docker/mysql-master/timezone:/etc/timezone \
-e MYSQL_ROOT_PASSWORD=123456 \
-d docker.io/mysql:5.7

echo "Asia/shanghai" > /home/jorge/docker/mysql-slave-1/timezone

docker run -p 3309:3306 \
--name mysql-slave-1 \
-v /home/jorge/docker/mysql-slave-1/conf:/etc/mysql/conf.d \
-v /home/jorge/docker/mysql-slave-1/logs:/logs \
-v /home/jorge/docker/mysql-slave-1/data:/var/lib/mysql \
-v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \
-v /home/jorge/docker/mysql-slave-1/timezone:/etc/timezone \
-e MYSQL_ROOT_PASSWORD=123456 \
-d docker.io/mysql:5.7

docker ps 查看容器实例

img_f9e546cdbff28331affe6c8b8c66d600.png

方式一:使用日志文件同步数据

创建数据库配置文件

master.cnf 配置文件(/home/jorge/docker/mysql-master/conf/master.cnf)

[mysqld]
server-id=1
log-bin=mysql-bin

slave.cnf 配置文件(/home/jorge/docker/mysql-slave-1/conf/master.cnf)

[mysqld]
server_id=2
log-bin=mysql-bin
binlog-format=ROW
#忽略同步的表 
binlog_ignore_db=mysql
binlog_ignore_db=information_schema
binlog_ignore_db=performation_schema
binlog_ignore_db=sys

进入mysql-master配置用户权限、查看MASTER_LOG_FILE

# 进入mysql-master
docker exec -it mysql-master /bin/bash
#登陆
mysql -uroot -p
#创建用户、授权、刷新
mysql> CREATE USER 'jorge-m'@'%' IDENTIFIED BY '123456';
mysql> GRANT REPLICATION SLAVE ON *.* TO 'jorge-m'@'%';
mysql> FLUSH PRIVILEGES;

#查看MASTER_LOG_FILE
mysql> show master status;
+----------------------+----------+--------------+------------------+------------------------------------------+
| File                 | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                        |
+----------------------+----------+--------------+------------------+------------------------------------------+
| master-binlog.000002 |     1040 |              |                  | ab240285-b4a4-11e8-9104-0242ac110003:1-4 |
+----------------------+----------+--------------+------------------+------------------------------------------+
1 row in set (0.00 sec)

进入mysql-slave-1配置从库的master参数

mysql> stop slave;
#省略了  mysql> 方便复制粘贴
#MASTER_HOST为mysql-master的ip。在宿主机执行docker inspect mysql-master可查看
CHANGE MASTER TO
     MASTER_HOST='172.17.0.2',
     MASTER_USER='jorge-m',
     MASTER_PORT=3306,
     MASTER_PASSWORD='123456',
     MASTER_LOG_FILE='mysql-bin.000002',
     MASTER_LOG_POS=0;
mysql> reset slave;
mysql> start slave;
#查看slave的启动情况,查看基本参数以及异常信息如下则正常
mysql> show slave status \G
Slave_IO_State: Waiting for master to send event
Master_Host: 172.17.0.2
Master_User: jorge-m
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: master-binlog.000002
Read_Master_Log_Pos: 1040
Relay_Log_File: dfd3ebbbb2f1-relay-bin.000003
Relay_Log_Pos: 1160
Relay_Master_Log_File: master-binlog.000002
......
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
.....
Last_Errno: 0
Last_Error: 
......
Last_IO_Errno: 0
Last_IO_Error: 
Last_SQL_Errno: 0
Last_SQL_Error: 

测试

重启容器实例使其加载配置文件

docker restart mysql-master
docker restart mysql-slave-1

接下来我们可以直接在主库新建一个数据库


img_7793e1d5c0250fa143396c3db51610af.png

刷新从库之后我们会发现testdb已经被同步到从库了


img_03e971047e04ae5223bac61ebab83693.png

方式二:GTID配置主从复制

以上是基于日志的主从复制是实现读写分离。这种同步方式很依赖于主库。如果主库宕机或者网络故障等问题出现,可能导致主从库同步丢失,或者多个从库之间数据不一致问题。那么为了解决这个问题mysql5.7.6之后引入了基于事务的主从复制方案。每个事务由唯一的GTID标识。当slave都执行了sql之后,master才持久化到硬盘,否则事务回滚,解决了一致性问题。

配置文件设置打开gtid_modeenforce_gtid_consistency

master.cnf

[mysqld]
#GTID:
server_id=1
gtid_mode=on
enforce_gtid_consistency=on

#binlog
log_bin=master-binlog
log-slave-updates=1    
binlog_format=row

#relay log
skip_slave_start=1

slave.cnf

[mysqld]
#GTID:
gtid_mode=on
enforce_gtid_consistency=on
server_id=2

#binlog
log-bin=slave-binlog
log-slave-updates=1
binlog_format=row

#relay log
skip_slave_start=1

登陆主库设置

如果主从库有操作没有同步的话要执行以下命令清空gtid_purged,或者dump备份主库到从库之后再设置

#登陆mysql主库后执行
reset master;
#查看gtid_purged和gtid_executed,两个值位为空即可
mysql> show global variables like '%gtid%'\G

登陆从库设置

这里配置MASTER_AUTO_POSITION = 1;会根据GTID去获取数据,因此不需要配置 MASTER_LOG_FILE和MASTER_LOG_POS了

mysql> stop slave;
 CHANGE MASTER TO  
     MASTER_HOST='172.17.0.2',    
     MASTER_USER='jorge-m',    
     MASTER_PASSWORD='123456',    
     MASTER_PORT=3306,    
     MASTER_AUTO_POSITION = 1;

mysql> reset slave;
mysql> reset master;
mysql> start slave;
#查看slave的启动情况,查看基本参数以及异常信息如下则正常
mysql> show slave status \G
......
# 我们会发现多了如下的值
Master_UUID: ab240285-b4a4-11e8-9104-0242ac110003

总结:

体验过后发现Replication的方式是单向同步的,只能从master写,从slave读。异步复制虽然性能上比较有优势,但是容灾能力真的不强。如果用这种方式来同步日志数据库的话,还可以接受。当然,这样的考虑mysql肯定也是会考虑到的。下一次学习体验下PXC 集群方案( Percona XtraDB Cluster )。

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
6天前
|
SQL 运维 关系型数据库
MySQL数据库运维第一篇(日志与主从复制)
MySQL数据库运维第一篇(日志与主从复制)
|
7天前
|
SQL 关系型数据库 MySQL
MySQL Workbench的安装与配置
MySQL Workbench的安装与配置
|
7天前
|
存储 关系型数据库 MySQL
Java大佬必知必会——MySQL主从复制
如果你现在有两台MySQL,一台版本是03年的MySQL5.0,另一台是18年的MySQL8.0.11。新版本可以作为老版本的从服务器,但反过来是不可行的。如果二进制文件包含了已存在的数据,就会造成数据重复了。如果从服务器复制该二进制文件后的数据库状态是混乱无序的,那整个复制的过程就没有意义了。如果主、从服务器存储数据的顺序不一样,就会导致每次执行删除的数据都是不同的。,老版本可能无法解析新版本的新特性,甚至复制的文件格式都差异太大。MySQL从库只会复制它本身缺失的最新数据,利用二进制文件里的。
96 3
Java大佬必知必会——MySQL主从复制
|
1天前
|
SQL 关系型数据库 MySQL
MySQL高可用架构设计:从主从复制到分布式集群
MySQL高可用性涉及主从复制、半同步复制和Group/InnoDB Cluster。主从复制通过二进制日志同步数据,保证故障时可切换。半同步复制确保事务在至少一个从服务器确认后才提交。Group Replication是多主复制,支持自动故障切换。InnoDB Cluster是8.0的集成解决方案,简化集群管理。使用这些技术能提升数据库的稳定性和可靠性。
88 2
|
4天前
|
关系型数据库 MySQL
mysql-proxy实现mysql的读写分离
mysql-proxy实现mysql的读写分离
|
7天前
|
关系型数据库 MySQL 数据库
MySQL8.0.36 安装配置教程(保姆级,包含图文讲解,环境变量的配置)适合小白
MySQL8.0.36 安装配置教程(保姆级,包含图文讲解,环境变量的配置)适合小白
|
6天前
|
负载均衡 关系型数据库 MySQL
MySQL 主主复制与主从复制对比
MySQL的主主复制和主从复制是两种常见的数据库复制配置方式,各有优缺点和适用场景。以下是对这两种复制方式的详细对比: ### 主从复制 (Master-Slave Replication) **特点:** 1. **单向复制**:数据从主服务器复制到一个或多个从服务器。从服务器只能从主服务器接收数据更新,不能向主服务器发送数据。 2. **读写分离**:主服务器处理写操作(INSERT、UPDATE、DELETE),从服务器处理读操作(SELECT),可以分担读负载,提高系统的整体性能。 3. **数据一致性**:数据在主服务器上是最新的,从服务器上可能会有一定的延迟。 **优点:**
|
9天前
|
SQL 监控 关系型数据库
实时计算 Flink版产品使用问题之使用mysql cdc配置StartupOptions.initial()全量之后就不增量了,是什么原因
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7天前
|
Java 关系型数据库 流计算
实时计算 Flink版操作报错合集之配置cats进行从MySQL到StarRocks的数据同步任务时遇到报错,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
292 0
|
7天前
|
关系型数据库 MySQL 数据库
MySQL数据库的安装与配置
MySQL数据库的安装与配置