MYSQL主从同步详细教程

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: MYSQL主从同步详细教程

MySQL 数据库集群实战


 

  • 随着访问量的不断增加,单台MySQL数据库服务器压力不断增加,需要对MYSQL进行优化和架构改造,MYQSL优化如果不能明显改善压力情况,可以使用高可用、主从复制、读写分离来、拆分库、拆分表来进行优化。

 

  • MYSQL主从复制集群在中小企业、大型企业中被广泛使用,MYSQL 主从复制的目的是实现数据库冗余备份,将Master数据库数据定时同步至Slave库中,一旦Master数据库宕机,可以将WEB应用数据库配置快速切换至Slave数据库,确保WEB应用较高的可用率,如图所示,为MYSQL主从复制结构图:


 image.png


简介

 

MYSQL 主从复制至少需要2台数据库服务器,其中一台为Master库,另外一台为Slave 库,mysql 主从同步是一个异步的过程。要实现复制,首先需要在master 上开启server-id和bin-log日志。

 

bin-log日志主要用来记录库中执行的增、删、修改、更新操作的sql语句,整个过程需要开启3个线程,分别是master上的IO线程, Slave 上的IO线程 和SQL线程。

 

同步原理详解

 

具体主从同步原理详解:

 

Slave 上执行start slave,Slave IO线程会 通过master创建的授权用户连接上master,并请求master从指定的文件和位置之后发送bin-log日志类容。

 

Master 接收到来自slave IO线程的请求后,master IO 线程会根据 Slave 指定的bin-log日志和 position点之后的内容返回给Slave IO线程。

 

Slave IO线程接收到信息后,将接收到的日志内容一次添加到Slave端的relay-log文件的最末端,并将读取到的Master端的bin-log的文件和position 点记录到master.info文件中。以便在下一次读取的时候能告知master从响应的bin-log文件名及最后一个position点开始发起请求。

 

Slave Sql线程检测到relay-log日志中日志又更新,会立刻解析relay-log的内容,成为在Master真实执行时候的那些可执行的SQL语句,将解析的语句并在Slave里执行,执行成功后,,Master 和Slave 库保持数据一致性。

 

MYSQL主从同步形式

 

  • 一主一从

 

  • 主主复制

 

  • 一主多从(扩展系统读取的性能)

 

  • 多主(5.7开始)

 

MYSQL 主从主要作用

 

  • 实时灾备,用于故障切换

 

  • 读写分离,提供查询服务

 

主从复制配置步骤

 

  • 搭建二进制数据库

 

  • 配置主数据库(修改配置文件)

 

  • 在主数据库里创建一个同步账号授权给从数据库使用

 

  • 配置从数据库(修改配置文件)

 

MYSQL主从搭建

 

1、实验环境


image.png

 

2、两台主机安装相同的mysql

 

搭建教程

 

3、配置主从数据库

 

  • master 库配置


开启日志(server-id=1,log-bin=xx)


[root@localhost ~]# cat /etc/my.cnf
[mysqld]
basedir = /usr/local/mysql
datadir = /data/mysql
socket = /tmp/mysql.sock
port = 3306
pid-file = /data/mysql/mysql.pid
user = mysql
skip-name-resolve
server-id=1
log-bin=hebao_log.bin
[root@localhost ~]# 


  • 创建授权用户,授权( grant replication slave on *.* to 'liuaoni'@'%' identified by '123456')


[root@localhost ~]# mysql -uroot -proot
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.7.30-log MySQL Community Server (GPL)
Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> grant replication slave on *.* to 'liuaoni'@'%' identified by '123456';
Query OK, 0 rows affected, 1 warning (0.01 sec)    replication 复制权限
mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| hebao_log.000001 |      592 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
mysql> 


  • Slave 数据库配置

 

mysql> change master to master_host='192.168.10.11',master_user='liuaoni',master_password='123456',master_log_file='hebao_log.000001',master_log_pos=592;
Query OK, 0 rows affected, 2 warnings (0.14 sec)
mysql> start slave;
Query OK, 0 rows affected (0.01 sec)
mysql> show slave status\G;
  *************************** 1. row ***************************
             Slave_IO_State: Waiting for master to send event
                Master_Host: 192.168.10.11
                Master_User: liuaoni
                Master_Port: 3306
              Connect_Retry: 60
            Master_Log_File: xx_log.000004
        Read_Master_Log_Pos: 836
             Relay_Log_File: localhost-relay-bin.000004
              Relay_Log_Pos: 317
      Relay_Master_Log_File: xx_log.000004
           Slave_IO_Running: Yes
          Slave_SQL_Running: Yes
            Replicate_Do_DB: 
        Replicate_Ignore_DB: 
         Replicate_Do_Table: 
     Replicate_Ignore_Table: 
           看到   Slave_IO_Running: Yes
                    Slave_SQL_Running: Yes 都为yes就好


  • 测试:

 

主上创建数据库:
mysql> create database Master_db;
Query OK, 1 row affected (0.14 sec)
mysql>
从上查看:
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| Master_db          |
| mysql              |
| mysql_back         |
| performance_schema |
| sys                |
+--------------------+
6 rows in set (0.00 sec)


mysql常用配置文件参数:


 image.png

 

MYSQL 备份与恢复


  • 数据库备份方案

 全量备份:某一个时间点上的所有数据或应用进行一个完全的拷贝,备份时间长,数据恢复快


增量备份:是指在一次完全备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加 或者被修改的文件。没有重复数据,备份时间短,恢复数据必须按一定的顺序进行


差异备份:备份上一次的完全备份后发生变化的所有文件。差异备份是指 在一次全备份后到进行差异备份的这段时间内对那些以增加或者修改文件的备份。在恢复时,只需要对第一次全量备份和最后一次差异备份进行恢复


  • 备份hebao库里面的Student表和Course表


语法:
    mysqldump [OPTIONS] database [tables ...]
    mysqldump [OPTIONS] --all-databases [OPTIONS]
    mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...]
常用的OPTIONS:
    -uUSERNAME      指定数据库用户名
    -hHOST          指定服务器主机,请使用ip地址
    -pPASSWORD      指定数据库用户的密码
    -P#             指定数据库监听的端口,这里的#需用实际的端口号代替,如-P3307


  •  备份整个数据库(全备)


[root@localhost ~]# mysqldump -uroot -p -h127.0.0.1 --all-databases > all-202104202203.sql
Enter password: 


  • 备份hebao库里面的Student表和Course表


[root@localhost ~]# mysqldump -uroot -p -h127.0.0.1 hebao Student Course > table-202104202201.sql
Enter password: 


  • 备份hebao整个数据库

 

[root@localhost ~]# mysqldump -uroot -p -h127.0.0.1 --databases hebao > hb-202104202201.sql
Enter password:


  • 恢复hebao 数据库

 

[root@localhost ~]# mysql -uroot -p -h127.0.0.1 < hb-202104202201.sql
Enter password:
[root@localhost ~]# mysql -uroot -p -h127.0.0.1 -e 'show databases;'
Enter password:


  • 恢复hebao数据库的Student和Course表

 

mysql> use hebao;
mysql> source table-202104202201.sql


总结



mysql 主从同步原理很重要,最好理解记忆下来,面试常见问题

 

mysql概述

 

mysql 源码安装

 

cmake安装mysql

 

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
安全 关系型数据库 MySQL
如何将数据从MySQL同步到其他系统
【10月更文挑战第17天】如何将数据从MySQL同步到其他系统
256 0
|
10天前
|
NoSQL Java 关系型数据库
Liunx部署java项目Tomcat、Redis、Mysql教程
本文详细介绍了如何在 Linux 服务器上安装和配置 Tomcat、MySQL 和 Redis,并部署 Java 项目。通过这些步骤,您可以搭建一个高效稳定的 Java 应用运行环境。希望本文能为您在实际操作中提供有价值的参考。
71 26
|
21天前
|
关系型数据库 MySQL Java
Servlet+MySQL增删改查 原文出自[易百教程] 转载请保留原文链接: https://www.yiibai.com/geek/1391
对于任何项目开发,创建,读取,更新和删除(CRUD)记录操作是应用程序的一个最重要部分。
57 20
|
2月前
|
存储 SQL 关系型数据库
【入门级教程】MySQL:从零开始的数据库之旅
本教程面向零基础用户,采用通俗易懂的语言和丰富的示例,帮助你快速掌握MySQL的基础知识和操作技巧。内容涵盖SQL语言基础(SELECT、INSERT、UPDATE、DELETE等常用语句)、使用索引提高查询效率、存储过程等。适合学生、开发者及数据库爱好者。
60 0
【入门级教程】MySQL:从零开始的数据库之旅
|
2月前
|
tengine 关系型数据库 MySQL
Tengine、Nginx安装MySQL数据库命令教程
本指南详细介绍了在Linux系统上安装与配置MySQL数据库的步骤。首先通过下载并安装MySQL社区版本,接着启动MySQL服务,使用`systemctl start mysqld.service`命令。若启动失败,可尝试使用`sudo /etc/init.d/mysqld start`。利用`systemctl status mysqld.service`检查MySQL的服务状态,确保其处于运行中。通过日志文件获取初始密码,使用该密码登录数据库,并按要求更改初始密码以增强安全性。随后创建一个名为`tengine`的数据库,最后验证数据库创建是否成功以及完成整个设置流程。
|
2月前
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
33 1
|
3月前
|
消息中间件 canal 关系型数据库
Maxwell:binlog 解析器,轻松同步 MySQL 数据
Maxwell:binlog 解析器,轻松同步 MySQL 数据
383 11
|
4月前
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版产品使用问题之使用CTAS同步MySQL到Hologres时出现的时区差异,该如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
SQL 关系型数据库 MySQL
PHP与MySQL交互之基础教程
【8月更文挑战第31天】 在数字世界中,数据是推动一切的核心力量。本文将引导你探索PHP与MySQL的协同工作,通过实际代码示例,展示如何建立连接、执行查询以及处理结果集。无论你是初学者还是希望巩固知识的开发者,这篇文章都将为你提供宝贵的实践知识。
|
4月前
|
SQL 存储 关系型数据库
实时计算 Flink版产品使用问题之同步MySQL多张表的过程中,内存释放依赖于什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。