【Docker 基础教程】Mysql主从环境搭建

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 【Docker 基础教程】Mysql主从环境搭建

前言


存储数据的时候我们一般使用文件,如果随着数据量的剧增,有些文件我们将面临打开时间过长或者,打不开的风险,所以我们可以使用数据库进行大量数据存储,使用数据库进行存储的时候又会考虑到数据库的性能问题,如何提高数据库使用的性能就是我们今天要学的,主数据库进行增删改业务,从数据库进行查询业务,既提升了数据库的性能,又保障了数据的安全性。


一、mysql主从复制原理


(一)为啥要用主从复制?


在业务复杂的系统中,有这么一个情景,有一句sql语句需要锁表,导致暂时不能使用读的服务,那么就很影响运行中的业务,使用主从复制,让主库负责写,从库负责读,这样,即使主库出现了锁表的情景,通过读从库也可以保证业务的正常运作。


做数据的热备(采用多级主从数据库,可以将写入的数据立即同步到存储数据库)


架构的扩展。业务量越来越大,I/O访问频率过高,单机无法满足,此时做多库的存储,降低磁盘I/O访问的频率,提高单个机器的I/O性能。


(二)什么是Mysql主从复制?


MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式,这样从节点不用一直访问主服务器来更新自己的数据,数据的更新可以在远程连接上进行,从节点可以复制主数据库中的所有数据库或者特定的数据库,或者特定的表。


(三)mysql主从复制原理剖析


①原理:


(1)master服务器将数据的改变记录二进制binlog日志,当master上的数据发生改变时,则将其改变写入二进制日志中;


(2)slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/OThread请求master二进制事件


(3)同时主节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至从节点本地的中继日志中,从节点将启动SQL线程从中继日志中读 取二进制日志,在本地重放,使得其数据和主节点的保持一致,最后I/OThread和SQLThread将进入睡眠状态,等待下一次被唤醒。


②通俗的来讲:


从数据库会生成两个线程,一个I/O线程,一个SQL线程;

I/O线程会去请求主数据库的binlog,并将得到的binlog写到本地的relay-log(中继日志)文件中;

主数据库会生成一个log dump线程,用来给从数据库I/O线程传binlog;

SQL线程,会读取relay log文件中的日志,并解析成sql语句逐一执行;


③注意:


master将操作语句记录到binlog日志中,然后授予slave远程连接的权限(master一定要开启binlog二进制日志功能;通常为了数据安全考虑,slave也开启binlog功能)。

slave开启两个线程:IO线程和SQL线程。其中:IO线程负责读取master的binlog内容到中继日志relay log里;SQL线程负责从relay log日志里读出binlog内容,并更新到slave的数据库里,这样就能保证slave数据和master数据保持一致了。

Mysql复制至少需要两个Mysql的服务,当然Mysql服务可以分布在不同的服务器上,也可以在一台服务器上启动多个服务。

Mysql复制最好确保master和slave服务器上的Mysql版本相同(如果不能满足版本一致,那么要保证master主节点的版本低于slave从节点的版本)

master和slave两节点间时间需同步


(四)主从复制搭建种类及过程图


54e8c916ef3c4c65b7b2dbfd805f6733.png



一主一从

实际生产环境中并不一定会使用


主主复制

可以防止某机器宕机,而带来的不必要的损失


一主多从

如果查询工作较多操作较为频繁可以选这种模式


多主一从

写入操作较多的时候可以选这种模式


级联复制

级联复制一般用于数据的存储备份。


二、主从搭建概览


1、从库通过手工执行change master to 语句连接主库,提供了连接的用户一切条件(user 、password、port、ip),并且让从库知道,二进制日志的起点位置(file名 position 号); start slave


2、从库的IO线程和主库的dump线程建立连接。


3、从库根据change master to 语句提供的file名和position号,IO线程向主库发起binlog的请求。


4、主库dump线程根据从库的请求,将本地binlog以events的方式发给从库IO线程。


5、从库IO线程接收binlog events,并存放到本地relay-log中,传送过来的信息,会记录到master.info中


6、从库SQL线程应用relay-log,并且把应用过的记录到relay-log.info中,默认情况下,已经应用过的relay 会自动被清理purge


三、主从搭建步骤(一主一从)


(一)新建主服务器实例


①起一个服务


创建主服务器,端口映射到3307


docker run -p 3307:3306 --name mysql-master \
-v /mydata/mysql-master/log:/var/log/mysql \
-v /mydata/mysql-master/data:/var/lib/mysql \
-v /mydata/mysql-master/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root  \
-d mysql:5.7


参数说明:


-p 3307:3306 将容器的3306端口映射到主机的3307端口

-v /mydata/mysql/master/conf:/etc/mysql ;将配置文件夹挂载到主机上

-v /mydata/mysql/master/log:/var/log/mysql:将日志文件夹挂载到主机上

-v /mydata/mysql/master/data:/var/lib/mysql:将数据文件夹挂载到主机上

-e MYSQL_ROOT_PASSWORD=root:初始化root用户的密码


②配置文件


进入/mydata/ mysql-master/conf目录下新建my.cnf

cd /mydata/mysql-master/conf

vim my.cnf

将以下内容粘贴进配置文件中


[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=101 
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql  
## 开启二进制日志功能
log-bin=mall-mysql-bin  
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M  
## 设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed  
## 二进制日志过期清理时间。默认值为0,表示不自动清理。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。
## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
slave_skip_errors=1062


③重启服务


docker restart mysql-master

70ccb74524a7437fb2b77d5eb431303d.png


④进入mysql-master容器


docker exec -it mysql-master /bin/bash
mysql -uroot -proot


⑤创建数据同步用户


CREATE USER 'slave' @'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'slave'@'%';

17f8ecb6f2224bef980a4de744519cbc.png


(二)新建从服务器实例


①起一个服务


创建主服务器,端口映射到3308

docker run -p 3308:3306 --name mysql-slave \
-v /mydata/mysql-slave/log:/var/log/mysql \
-v /mydata/mysql-slave/data:/var/lib/mysql \
-v /mydata/mysql-slave/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root  \
-d mysql:5.7


②配置文件


进入/mydata/ mysql-slave/conf目录下新建my.cnf

cd /mydata/ mysql-slave/conf

vim my.cnf

将以下内容粘贴进配置文件中


[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=102
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql  
## 开启二进制日志功能,以备Slave作为其它数据库实例的Master时使用
log-bin=mall-mysql-slave1-bin  
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M  
## 设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed  
## 二进制日志过期清理时间。默认值为0,表示不自动清理。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。
## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
slave_skip_errors=1062  
## relay_log配置中继日志
relay_log=mall-mysql-relay-bin  
## log_slave_updates表示slave将复制事件写进自己的二进制日志
log_slave_updates=1  
## slave设置为只读(具有super权限的用户除外)
read_only=1

1964abcc1d9345549ae04e179cfcc925.png


③重启服务


docker restart mysql-slave


907456965d5f47c7a2aaa353daaee5a1.png


④在主数据库中查看主从同步状态


查看主数据库的Position参数,我这里为434

show master status;

fd6e0b601ea94486a4e1556d6daa5626.png

5c437d9f15074760a4d3ad10e134ce99.png


⑤进入mysql-slave容器


docker exec -it mysql-slave /bin/bash
mysql -uroot -proot
• 1
• 2


⑥在从数据库中查看主从同步状态(参数说明)


查看状态


show slave status \G;
• 1


参数说明


master_host:主数据库的IP地址;
master_port:主数据库的运行端口;
master_user:在主数据库创建的用于同步数据的用户账号;
master_password:在主数据库创建的用于同步数据的用户密码;
master_log_file:指定从数据库要复制数据的日志文件,通过查看主数据的状态,获取File参数;
master_log_pos:指定从数据库从哪个位置开始复制数据,通过查看主数据的状态,获取Position参数;
master_connect_retry:连接失败重试的时间间隔,单位为秒。


修改配置(这里的端口与master_log_pos改成你们自己的)


change master to 
master_host='192.168.200.128',master_user='slave',master_password='123456',master_port=3307,
master_log_file='mall-mysql- bin.000001',master_log_pos=434,master_connect_retry=30;

58ecd6e50d654d788470792a96088556.png


由图中数据可以看出来,主从复制并没有开启


693c77730e4842d4a59ba61fd2def7fd.png


⑦在从数据库中开启主从同步


start slave;
• 1


再次查看从数据库状态

b1aad06f45a84887a2b848c9b4ebc7a1.png


(三)测试


主机新建库并插入数据

215d27b6187b4187878bbc20a147295b.png


从机进行数据查询

e7652d90ee69444793ad59df24fbe278.png


由此,数据库一主一从模式搭建彻底完成。



在搭建一主一从mysql主从复制关系的时候,可能会遇到一些错误,将会在下一篇博客汇总一下分享出来。


3fea2e69da6a4e49a8b3b0ae8c76e916.jpg



相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
12天前
|
机器人 网络安全 数据安全/隐私保护
autMan奥特曼机器人-对接Docker版本NTQQ详细教程
本文介绍了如何在服务器上搭建NTQQ机器人,通过官方NTQQ对接各框架,实现QQ登录的稳定运行。文章提到了需要准备一台服务器和相应的软件,并详细描述了通过SSH链接服务器、创建文件夹和配置文件、编辑配置文件地址端口、运行容器等步骤。同时,文章还介绍了VNC连接的使用和配置,以及使用watchtower进行NTQQ的更新。文章总结起来就是在服务器上搭建NTQQ机器人,实现QQ登录的稳定性和自动登录功能,同时提供了更新和维护的方法。
43 3
autMan奥特曼机器人-对接Docker版本NTQQ详细教程
|
18天前
|
关系型数据库 MySQL Linux
Docker安装Mysql5.7,解决无法访问DockerHub问题
当 Docker Hub 无法访问时,可以通过配置国内镜像加速来解决应用安装失败和镜像拉取超时的问题。本文介绍了如何在 CentOS 上一键配置国内镜像加速,并成功拉取 MySQL 5.7 镜像。
160 2
Docker安装Mysql5.7,解决无法访问DockerHub问题
|
2天前
|
关系型数据库 MySQL Docker
docker环境下mysql镜像启动后权限更改问题的解决
在Docker环境下运行MySQL容器时,权限问题是一个常见的困扰。通过正确设置目录和文件的权限,可以确保MySQL容器顺利启动并正常运行。本文提供了多种解决方案,包括在主机上设置正确的权限、使用Dockerfile和Docker Compose进行配置、在容器启动后手动更改权限以及使用 `init`脚本自动更改权限。根据实际情况选择合适的方法,可以有效解决MySQL容器启动后的权限问题。希望本文对您在Docker环境下运行MySQL容器有所帮助。
8 1
|
11天前
|
关系型数据库 MySQL Linux
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
115 2
|
16天前
|
存储 SQL 关系型数据库
【入门级教程】MySQL:从零开始的数据库之旅
本教程面向零基础用户,采用通俗易懂的语言和丰富的示例,帮助你快速掌握MySQL的基础知识和操作技巧。内容涵盖SQL语言基础(SELECT、INSERT、UPDATE、DELETE等常用语句)、使用索引提高查询效率、存储过程等。适合学生、开发者及数据库爱好者。
34 0
【入门级教程】MySQL:从零开始的数据库之旅
|
19天前
|
数据可视化 数据挖掘 Docker
Docker Desktop 安装 ClickHouse 超级简单教程
Docker Desktop 安装 ClickHouse 超级简单教程
36 1
|
28天前
|
定位技术 文件存储 网络架构
Docker部署PhotoPrism、Immich图片管理应用,无需公网IP远程访问教程
除了Synology、QNAP、TerraMaster等品牌的NAS设备内置图库功能,市面上还有多种备受欢迎的第三方应用,如PhotoPrism、Immich、LibrePhotos、Piwigo、Photoview等。这些应用不仅提供强大的图片管理能力,还可通过Docker轻松部署。借助贝锐花生壳服务,即使没有公网IP也能实现远程访问,突破地理限制,提升数据可访问性和安全性,让用户随时随地管理私人图库。
73 1
|
29天前
|
存储 应用服务中间件 nginx
|
29天前
|
弹性计算 关系型数据库 MySQL
Docker安装MySQL
这篇文章详细介绍了如何使用Docker安装MySQL数据库服务,包括拉取镜像、配置数据卷以及启动容器的步骤。
206 0
Docker安装MySQL
|
Web App开发 Java Linux
Docker简明教程
本文讲的是Docker简明教程,【编者的话】使用Docker来写代码更高效并能有效提升自己的技能。Docker能打包你的开发环境,消除包的依赖冲突,并通过集装箱式的应用来减少开发时间和学习时间。
2686 0

热门文章

最新文章