Mysql 12 复制1

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: <div class="markdown_views"><p>备份,灾难恢复,大规模,水平扩展,高性能的基础,也是高可用,可扩展,及数据仓库的基础。</p><h2 id="简述">简述</h2><h3 id="开销">开销</h3><p>Mysql有两种复制方式:基于行的复制和基于语句的复制。 <br>都是通过在主库上记录二进制日志,在备库上重放日志实现

备份,灾难恢复,大规模,水平扩展,高性能的基础,也是高可用,可扩展,及数据仓库的基础。

简述

开销

Mysql有两种复制方式:基于行的复制和基于语句的复制。
都是通过在主库上记录二进制日志,在备库上重放日志实现的。

主要开销来自于:

  • 主库部分启用二进制日志带来的开销。
  • 每个备库会增加网络开销
  • 主库开多线程给备库同步数据开销会累加

    通常使用读写分离,在备库中读来获得读扩展

解决的问题

  • 负载均衡 读写分离,度扩展
  • 数据分布 用复制功能来简历多个不同的数据中心
  • 备份
  • 高可用性 避免单点失败,可以很快的切换到备库,缩短宕机时间
  • 升级测试,用高版本作为备库,可以看看能否按照预期执行。

复制如何工作

  • 主库事务提交时记录事件到二进制日志中
  • 备库启动I/O线程去连接主库,主库启动一个线程来处理连接,然后又事务日志要写的时候,主库写日志给备库,备库处理到自己的中继日志中
  • 重放中继日志,回写备库数据

配置复制

拢共分三步

  • 在主备都创建复制账号
  • 配置主库和备库
  • 通知备库连接到主库复制数据

创建账号

注意权限,注意ip限制,因为有权利读取日志,所以还是限制了ip

GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO repl1@'10.28.%.%' IDENTIFIED BY 'p4ssword';

配置主备库

主库打开二进制日志my.cnf加入:
log_bin = mysql-bin
server_id = 10
server_id是自己定的。必须是唯一的。
使用如下的语句检查:

SHOW MASTER STATUS;

备库的配置:

log_bin = mysql-bin
server_id = 2
##中继文件日志
relay_log = /var/lib/mysql/mysql-relay-bin
##允许把重复也记录到备库的binlog
log_slave_updates = 1       
read_only = 1
##放弃了master_port这样的配置方式

启动复制

在备库中执行:

CHANGE MASTER TO MASTER_HOST='主库ip',
-> MASTER_USER='repl', ## 刚才创建的
-> MASTER_PASSWORD='p4ssword',
-> MASTER_LOG_FILE='mysql-bin.000001', ## 主库中执行SHOW MASTER STATUS得到的
-> MASTER_LOG_POS=0; 从头读起

执行完成后使用 SHOW SLAVE STATUS来查看一下发现Slave_IO_Runing为NO
在执行
START SLAVE;来启动

还可以从主库上检查复制线程
SHOW PROCESSLIST

有库不是新库时

把已有库编成另一个的备库,我们需要如下的信息:

  • 某一时刻快照
  • 主库当前的二进制文件和快照在二进制文件中的坐标
  • 从快照时间到现在的二进制日志
    一些克隆备库的方法:
  • 冷备 , 关闭数据库, 把数据复制到备份。 然后配置主备,重启之后会用新的日志文件,在被库中执行CHANGE MASTER TO 命令进行同步
  • mysqldump –single-transaction –all-databases –master-data=1 –host=server1 mysql –host=server2
  • 使用Percona Xtrabackup工具

推荐的复制配置

sync_binlog=1 开启则每次提交事务都会将二进制日志同步到磁
盘。
log_bin=/ 指明二进制文件名,免得默认的因为系统不同而有问题
relay_log_purge 控制重放完后尽快删除中继日志
read_only=
relay_log=

复制原理

基于语句

简单的记录执行的语句,放到备库去执行
优点:
更容易理解
更灵活及容错,因为都是sql语句的

缺点:
存储过程,触发器不行
一些依赖环境的内置方法也不行
必须顺序执行,会带来更多的锁

基于行

日志记录行的变更。
优点:
可以直接复制变更结果,对于一些耗时sql可以节约性能
不会受到触发器等特殊情况的限制

缺点:
无法判断执行了哪些sql,有点像黑盒子
不好跟踪问题
对于一些特殊语句比如update 全表的一个状态,这种基于行的开销会很大

Mysql会自动切换,当基于语句不行的时候就会尝试基于行的。

复制拓扑

  • 一个备库只能有一个主库
  • 每个备库必须有唯一id
  • 打开log_slave_updates选项时,备库可以把其主库上的数据变化传播到其他备库

    一主多备

  • 一个备库用于灾难恢复

  • 适用于少写多读的场景。可以负载均衡
  • 使用一个备库用于测试等等
  • ALtertable这样的语句在备库执行,然后主备切换

    双主动双主库

    太乱,Mysql不支持

    主动-被动 双主结构

    可以认为是一个热备。 可以随时切换主备
    被动模式的主库也可以当备库一样使用

    主库带备库的 主动-被动 双主结构

    主动,被动两个库都各有一个备库

    分发主库

    作为被动的主库有多个备库。这种可以防止备库太多给主库带来负载
    但是这样就不能直接使用备库替换主库了。因为中转了一道bin_log不一样了

    树形

    一个主,多个备,备库又有备库的结构。
    好处跟分发主库有点像,可以减少多备库压力
    坏处在于如果沿途有节点除了问题,会影响多个节点

选择性复制

备库复制主库中不同的表。
简单的做法就是在主库中把表放入不同的数据库,然后备库只复制其中一个数据库。
这样每个备库都只有一部分的主库写入负载

备库的用途

  • 数据分离 可以专门分离一个备库出来,做在线数据分析OLAP,而不是在线事务处理OLTP
  • 数据归档 在备库上保存主库上删除的数据
    可以用过滤, 或者是user db1, replicate_ignore_db=db1这样的方式
  • 备库做全文检索 把备库中的部分表用MyISAM引擎
  • 只读备库

模拟多主库复制

Mysql不支持一个备库多主库, 可以让备库一会儿指向备库A,一会儿指向备库B, 这样增加一点额外的工作来记录bin-log位置

创建日志服务器

如果一个服务器崩溃了,我们去他的二进制日志或者中继日志,希望重放他。
这是可以勇mysqlbinlog工具。
更好的方式是,建立一个新的数据库,让他认为这些二进制文件时他的。然后启动他,让别的数据库来复制它来获得二进制文件进行重放
好处:

  • 复制的速度很快
  • 更方便处理错误
  • 复制功能被测试过,运行良好

复制和容量规划

先看个计算,假设,读写消耗一样,读写比例2:8, 服务器只能每秒1000次请求。
这个时候做读写分离。 如果支撑请求翻倍需要增加多少台备库呢?
翻倍的话,要有400次写,1600次读,每个备库都会有400次写,那么这个时候就只能支撑600次读了,所以需要三台备库。

这样算下来,使用读写分离和备库的方式负载查询代价很高。
一般不要让读超过50%的负载,避免备库出现问题的时候造成单点热点过高。

可以停止备库,过一小时之后打开,看备库多久能赶上,来得到备库的执行性能
大多数情况下性能还是比较好的,在主库执行的耗时操作往往是备库延迟的原因。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6月前
|
SQL 关系型数据库 MySQL
面试官:说一下MySQL主从复制的原理?
面试官:说一下MySQL主从复制的原理?
173 0
面试官:说一下MySQL主从复制的原理?
|
SQL 存储 关系型数据库
MySQL主从复制之原理&一主一从部署流程—2023.04
MySQL主从复制之原理&一主一从部署流程—2023.04
432 0
|
6月前
|
SQL 关系型数据库 MySQL
MySQL中主从复制的原理和配置命令
要原因包括提高性能、实现高可用性、数据备份和灾难恢复。了解两大线程( I/O 和 SQL)I/O线程:目的:I/O线程主要负责与MySQL服务器之外的其他MySQL服务器进行通信,以便复制(replication)数据。 功能: 当一个MySQL服务器作为主服务器(master)时,I/O线程会将变更日志(binary log)中的事件传输给从服务器(slave)。从服务器上的I/O线程负责接收主服务器的二进制日志,并将这些事件写入本地的中继日志(relay log)。 配置: 在MySQL配置文件中,你可以通过配置参数如和来启用二进制日志和指定服务器ID。log-bin server
136 1
MySQL中主从复制的原理和配置命令
|
22天前
|
存储 关系型数据库 MySQL
MySQL主从复制原理和使用
本文介绍了MySQL主从复制的基本概念、原理及其实现方法,详细讲解了一主两从的架构设计,以及三种常见的复制模式(全同步、异步、半同步)的特点与适用场景。此外,文章还提供了Spring Boot环境下配置主从复制的具体代码示例,包括数据源配置、上下文切换、路由实现及切面编程等内容,帮助读者理解如何在实际项目中实现数据库的读写分离。
MySQL主从复制原理和使用
|
22天前
|
SQL 关系型数据库 MySQL
Mysql中搭建主从复制原理和配置
主从复制在数据库管理中广泛应用,主要优点包括提高性能、实现高可用性、数据备份及灾难恢复。通过读写分离、从服务器接管、实时备份和地理分布等机制,有效增强系统的稳定性和数据安全性。主从复制涉及I/O线程和SQL线程,前者负责日志传输,后者负责日志应用,确保数据同步。配置过程中需开启二进制日志、设置唯一服务器ID,并创建复制用户,通过CHANGE MASTER TO命令配置从服务器连接主服务器,实现数据同步。实验部分展示了如何在两台CentOS 7服务器上配置MySQL 5.7主从复制,包括关闭防火墙、配置静态IP、设置域名解析、配置主从服务器、启动复制及验证同步效果。
Mysql中搭建主从复制原理和配置
|
3月前
|
SQL 关系型数据库 MySQL
说一下MySQL主从复制的原理?
【8月更文挑战第24天】说一下MySQL主从复制的原理?
62 0
|
3月前
|
SQL canal 关系型数据库
(二十四)全解MySQL之主从篇:死磕主从复制中数据同步原理与优化
兜兜转转,经过《全解MySQL专栏》前面二十多篇的内容讲解后,基本对MySQL单机模式下的各方面进阶知识做了详细阐述,同时在前面的《分库分表概念篇》、《分库分表隐患篇》两章中也首次提到了数据库的一些高可用方案,但前两章大多属于方法论,并未涵盖真正的实操过程。接下来的内容,会以目前这章作为分割点,开启MySQL高可用方案的落地实践分享的新章程!
1616 1
|
6月前
|
关系型数据库 MySQL Linux
【mysql】MySql主从复制,从原理到实践!
【mysql】MySql主从复制,从原理到实践!
198 0
|
6月前
|
SQL 容灾 关系型数据库
MySQL 主从复制原理
MySQL 主从复制原理
75 1
MySQL 主从复制原理
|
SQL 关系型数据库 MySQL
MySql主从复制原理及其搭建
MySql主从复制原理及其搭建