MYSQL主从同步详细教程

本文涉及的产品
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介: MYSQL主从同步详细教程

MySQL 数据库集群实战


 

  • 随着访问量的不断增加,单台MySQL数据库服务器压力不断增加,需要对MYSQL进行优化和架构改造,MYQSL优化如果不能明显改善压力情况,可以使用高可用、主从复制、读写分离来、拆分库、拆分表来进行优化。

 

  • MYSQL主从复制集群在中小企业、大型企业中被广泛使用,MYSQL 主从复制的目的是实现数据库冗余备份,将Master数据库数据定时同步至Slave库中,一旦Master数据库宕机,可以将WEB应用数据库配置快速切换至Slave数据库,确保WEB应用较高的可用率,如图所示,为MYSQL主从复制结构图:


 image.png


简介

 

MYSQL 主从复制至少需要2台数据库服务器,其中一台为Master库,另外一台为Slave 库,mysql 主从同步是一个异步的过程。要实现复制,首先需要在master 上开启server-id和bin-log日志。

 

bin-log日志主要用来记录库中执行的增、删、修改、更新操作的sql语句,整个过程需要开启3个线程,分别是master上的IO线程, Slave 上的IO线程 和SQL线程。

 

同步原理详解

 

具体主从同步原理详解:

 

Slave 上执行start slave,Slave IO线程会 通过master创建的授权用户连接上master,并请求master从指定的文件和位置之后发送bin-log日志类容。

 

Master 接收到来自slave IO线程的请求后,master IO 线程会根据 Slave 指定的bin-log日志和 position点之后的内容返回给Slave IO线程。

 

Slave IO线程接收到信息后,将接收到的日志内容一次添加到Slave端的relay-log文件的最末端,并将读取到的Master端的bin-log的文件和position 点记录到master.info文件中。以便在下一次读取的时候能告知master从响应的bin-log文件名及最后一个position点开始发起请求。

 

Slave Sql线程检测到relay-log日志中日志又更新,会立刻解析relay-log的内容,成为在Master真实执行时候的那些可执行的SQL语句,将解析的语句并在Slave里执行,执行成功后,,Master 和Slave 库保持数据一致性。

 

MYSQL主从同步形式

 

  • 一主一从

 

  • 主主复制

 

  • 一主多从(扩展系统读取的性能)

 

  • 多主(5.7开始)

 

MYSQL 主从主要作用

 

  • 实时灾备,用于故障切换

 

  • 读写分离,提供查询服务

 

主从复制配置步骤

 

  • 搭建二进制数据库

 

  • 配置主数据库(修改配置文件)

 

  • 在主数据库里创建一个同步账号授权给从数据库使用

 

  • 配置从数据库(修改配置文件)

 

MYSQL主从搭建

 

1、实验环境


image.png

 

2、两台主机安装相同的mysql

 

搭建教程

 

3、配置主从数据库

 

  • master 库配置


开启日志(server-id=1,log-bin=xx)


[root@localhost ~]# cat /etc/my.cnf
[mysqld]
basedir = /usr/local/mysql
datadir = /data/mysql
socket = /tmp/mysql.sock
port = 3306
pid-file = /data/mysql/mysql.pid
user = mysql
skip-name-resolve
server-id=1
log-bin=hebao_log.bin
[root@localhost ~]# 


  • 创建授权用户,授权( grant replication slave on *.* to 'liuaoni'@'%' identified by '123456')


[root@localhost ~]# mysql -uroot -proot
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.7.30-log MySQL Community Server (GPL)
Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> grant replication slave on *.* to 'liuaoni'@'%' identified by '123456';
Query OK, 0 rows affected, 1 warning (0.01 sec)    replication 复制权限
mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| hebao_log.000001 |      592 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
mysql> 


  • Slave 数据库配置

 

mysql> change master to master_host='192.168.10.11',master_user='liuaoni',master_password='123456',master_log_file='hebao_log.000001',master_log_pos=592;
Query OK, 0 rows affected, 2 warnings (0.14 sec)
mysql> start slave;
Query OK, 0 rows affected (0.01 sec)
mysql> show slave status\G;
  *************************** 1. row ***************************
             Slave_IO_State: Waiting for master to send event
                Master_Host: 192.168.10.11
                Master_User: liuaoni
                Master_Port: 3306
              Connect_Retry: 60
            Master_Log_File: xx_log.000004
        Read_Master_Log_Pos: 836
             Relay_Log_File: localhost-relay-bin.000004
              Relay_Log_Pos: 317
      Relay_Master_Log_File: xx_log.000004
           Slave_IO_Running: Yes
          Slave_SQL_Running: Yes
            Replicate_Do_DB: 
        Replicate_Ignore_DB: 
         Replicate_Do_Table: 
     Replicate_Ignore_Table: 
           看到   Slave_IO_Running: Yes
                    Slave_SQL_Running: Yes 都为yes就好


  • 测试:

 

主上创建数据库:
mysql> create database Master_db;
Query OK, 1 row affected (0.14 sec)
mysql>
从上查看:
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| Master_db          |
| mysql              |
| mysql_back         |
| performance_schema |
| sys                |
+--------------------+
6 rows in set (0.00 sec)


mysql常用配置文件参数:


 image.png

 

MYSQL 备份与恢复


  • 数据库备份方案

 全量备份:某一个时间点上的所有数据或应用进行一个完全的拷贝,备份时间长,数据恢复快


增量备份:是指在一次完全备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加 或者被修改的文件。没有重复数据,备份时间短,恢复数据必须按一定的顺序进行


差异备份:备份上一次的完全备份后发生变化的所有文件。差异备份是指 在一次全备份后到进行差异备份的这段时间内对那些以增加或者修改文件的备份。在恢复时,只需要对第一次全量备份和最后一次差异备份进行恢复


  • 备份hebao库里面的Student表和Course表


语法:
    mysqldump [OPTIONS] database [tables ...]
    mysqldump [OPTIONS] --all-databases [OPTIONS]
    mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...]
常用的OPTIONS:
    -uUSERNAME      指定数据库用户名
    -hHOST          指定服务器主机,请使用ip地址
    -pPASSWORD      指定数据库用户的密码
    -P#             指定数据库监听的端口,这里的#需用实际的端口号代替,如-P3307


  •  备份整个数据库(全备)


[root@localhost ~]# mysqldump -uroot -p -h127.0.0.1 --all-databases > all-202104202203.sql
Enter password: 


  • 备份hebao库里面的Student表和Course表


[root@localhost ~]# mysqldump -uroot -p -h127.0.0.1 hebao Student Course > table-202104202201.sql
Enter password: 


  • 备份hebao整个数据库

 

[root@localhost ~]# mysqldump -uroot -p -h127.0.0.1 --databases hebao > hb-202104202201.sql
Enter password:


  • 恢复hebao 数据库

 

[root@localhost ~]# mysql -uroot -p -h127.0.0.1 < hb-202104202201.sql
Enter password:
[root@localhost ~]# mysql -uroot -p -h127.0.0.1 -e 'show databases;'
Enter password:


  • 恢复hebao数据库的Student和Course表

 

mysql> use hebao;
mysql> source table-202104202201.sql


总结



mysql 主从同步原理很重要,最好理解记忆下来,面试常见问题

 

mysql概述

 

mysql 源码安装

 

cmake安装mysql

 

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
安全 关系型数据库 MySQL
如何将数据从MySQL同步到其他系统
【10月更文挑战第17天】如何将数据从MySQL同步到其他系统
2046 0
|
7月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
802 6
|
8月前
|
安全 关系型数据库 MySQL
CentOS 7 yum 安装 MySQL教程
在CentOS 7上安装MySQL 8,其实流程很清晰。首先通过官方Yum仓库来安装服务,然后启动并设为开机自启。最重要的环节是首次安全设置:需要先从日志里找到临时密码来登录,再修改成你自己的密码,并为远程连接创建用户和授权。最后,也别忘了在服务器防火墙上放行3306端口,这样远程才能连上。
1988 16
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
12月前
|
存储 关系型数据库 MySQL
【免费动手教程上线】阿里云RDS MySQL推出大容量高性能存储:高性能本地盘(最高16TB存储空间)、高性能云盘(最高64TB存储空间)
阿里云RDS MySQL提供高性能本地盘与高性能云盘等存储方案,满足用户大容量、低延迟需求。高性能本地盘单盘最大16TB,IO延时微秒级;高性能云盘兼容ESSD特性,支持IO性能突发、BPE及16K原子写等能力。此外,阿里云还提供免费动手体验教程,帮助用户直观感受云数据库 RDS 存储性能表现。
|
NoSQL Java 关系型数据库
Liunx部署java项目Tomcat、Redis、Mysql教程
本文详细介绍了如何在 Linux 服务器上安装和配置 Tomcat、MySQL 和 Redis,并部署 Java 项目。通过这些步骤,您可以搭建一个高效稳定的 Java 应用运行环境。希望本文能为您在实际操作中提供有价值的参考。
949 26
|
监控 关系型数据库 MySQL
Flink CDC MySQL同步MySQL错误记录
在使用Flink CDC同步MySQL数据时,常见的错误包括连接错误、权限错误、表结构变化、数据类型不匹配、主键冲突和
617 17
|
关系型数据库 MySQL Java
Servlet+MySQL增删改查 原文出自[易百教程] 转载请保留原文链接: https://www.yiibai.com/geek/1391
对于任何项目开发,创建,读取,更新和删除(CRUD)记录操作是应用程序的一个最重要部分。
407 20
|
存储 SQL 关系型数据库
【入门级教程】MySQL:从零开始的数据库之旅
本教程面向零基础用户,采用通俗易懂的语言和丰富的示例,帮助你快速掌握MySQL的基础知识和操作技巧。内容涵盖SQL语言基础(SELECT、INSERT、UPDATE、DELETE等常用语句)、使用索引提高查询效率、存储过程等。适合学生、开发者及数据库爱好者。
699 0
【入门级教程】MySQL:从零开始的数据库之旅