详解MySQL主从复制

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 1.概述在实际的数据密集型应用中,数据库层面往往呈现两个特点:单点数据库难以扛得住。读操作远远多于写操作。

1.概述

在实际的数据密集型应用中,数据库层面往往呈现两个特点:

  • 单点数据库难以扛得住。
  • 读操作远远多于写操作。

综上所述我们可以使用多个数据库节点来组成集群的。采用主从结构来进行数据同步,多个slave节点向一个master节点拿数据。对数据库的写操作(insert)全在master上节点上进行,从而保证master的数据是全局最新最完整的,slave去master上拿数据进行数据同步,然后读操作就可以负载均衡的分发到不同的从节点上进行处理,这样就有效的减轻了数据库中单节点的压力。


以上说的方式就是MySQL的"主从复制",它是MySql最常见的集群方式之一。


以下是MySQL主从复制的实现原理:


master将操作记录写到自己的二进制日志文件,salve开一个线程去读master的日志文件,将日志内容写到中继日志中,再照着中继日志,做一遍其中的事件。

d758f0c34c9e44aaba0005ddd8a7800c.png

2.配置使用

2.1.master配置

配置文件添加以下内容:

server-id=1  集群中每个server的server-id保持唯一性。

log-bin=mysql-bin 开启二进制日志文件,并将日志文件命名为mysql-bin

2.2.slave配置

配置文件添加以下内容:

server-id=2 集群中每个server的server-id保持唯一性。

log-bin=XXX  如果是扮演单独的从节点,而不扮演链式结构中其他节点的主节点,可以不配。

2.3.认主

注意:无论master还是slave,重启后都必须重新认主!

在master上使用

show master status;

可以查看到主节点的日志文件在集群中的名称以及分区号:

cbd4e9936e2d4ff99831556a6359472f.png

在从节点上进行认主操作:


change master to master_host='192.168.1.100',


master_user='root',master_password='admin',


master_log_file=' mysql-bin.000001',


master_log_pos= 154;


注意:从节点上配置认主的时候,master_user 和master_password所配置的账号必须要有复制权限,如果没有权限的话,需要额外进行权限分配。


分配方式:


在master上:


GRANT REPLICATION SLAVE ON *.* TO '用户名'@'%';


FLUSH PRIVILEGES;

2.4.确认认主结果

认主操作完成后,可以在从节点上确认是否成功与master同步:

show slave status\G0;

会显示以下内容:

3cbfac1ab514469f827ec0bba08166c8.png

其中有两个进程:


slave_io_running,负责与master通信,


slave_sql_running,负责自己的sql。


两个进程都必须同时为yes才可以正常完成主从复制。


但是默认情况下一旦出现sql错误,slave_sql_running线程会直接阻塞,变为状态变为no。


通过在slave上配置遇见错误跳过,即可:

3051c0a5d55a41df8853de72b8c8543a.png

3.请求分发

3.1.概述

配置完主从复制后,还存在一个问题,就是业务层面怎么将请求区分出来分别进行转发,怎么将写请求分发到master节点、将读请求分发到slave节点。

方法有两种:

  • 手动分发
  • 使用中间件

手动分发,即手动将写操作分发到master节点上,读操作分发到slave节点上。

3.2.手动分发

3.2.1.原生JDBC

实际工程中原生JDBC很少会使用了,这里节约篇幅只说一下实现思想,不做展开。如果是使用原生JDBC的话,每个数据库节点准备一套对应的JDBC连接参数(url、username、password),读的时候进行一次负载均衡,先确定出写到哪个slave上去,然后用该slave对应的那套JDBC连参数去取connection就行了。

3.2.2.数据源

如果是使用了数据源的话,可以使用多数据源的方式来实现请求的分发。为master和slave分别准备数据源,将写操作、读操作分别放在不同的mapper,每个mapper用不同的数据源,将请求分发到不同的节点上去。


以下是spring boot+mybatis的示例:

配置多数据源:


# 主节点数据源配置

spring.datasource.master.driver-class-name=com.mysql.jdbc.Driver

spring.datasource.master.jdbc-url=jdbc:mysql://master-host:3306/database

spring.datasource.master.username=username

spring.datasource.master.password=password


# 从节点数据源配置

spring.datasource.slave.driver-class-name=com.mysql.jdbc.Driver

spring.datasource.slave.jdbc-url=jdbc:mysql://slave-host:3306/database

spring.datasource.slave.username=username

spring.datasource.slave.password=password配置数据源和SqlSessionFactory:

@Configuration
@MapperScan(basePackages = "com.example.mappers", sqlSessionTemplateRef = "masterSqlSessionTemplate")
public class MasterDataSourceConfig {
    @Bean(name = "masterDataSource")
    @ConfigurationProperties(prefix = "spring.datasource.master")
    public DataSource masterDataSource() {
        return DataSourceBuilder.create().build();
    }
    @Bean(name = "masterSqlSessionFactory")
    public SqlSessionFactory masterSqlSessionFactory(@Qualifier("masterDataSource") DataSource dataSource) throws Exception {
        SqlSessionFactoryBean sessionFactoryBean = new SqlSessionFactoryBean();
        sessionFactoryBean.setDataSource(dataSource);
        // 其他配置项
        return sessionFactoryBean.getObject();
    }
    @Bean(name = "masterSqlSessionTemplate")
    public SqlSessionTemplate masterSqlSessionTemplate(@Qualifier("masterSqlSessionFactory") SqlSessionFactory sqlSessionFactory) {
        return new SqlSessionTemplate(sqlSessionFactory);
    }
}
@Configuration
@MapperScan(basePackages = "com.example.mappers", sqlSessionTemplateRef = "slaveSqlSessionTemplate")
public class SlaveDataSourceConfig {
    @Bean(name = "slaveDataSource")
    @ConfigurationProperties(prefix = "spring.datasource.slave")
    public DataSource slaveDataSource() {
        return DataSourceBuilder.create().build();
    }
    @Bean(name = "slaveSqlSessionFactory")
    public SqlSessionFactory slaveSqlSessionFactory(@Qualifier("slaveDataSource") DataSource dataSource) throws Exception {
        SqlSessionFactoryBean sessionFactoryBean = new SqlSessionFactoryBean();
        sessionFactoryBean.setDataSource(dataSource);
        // 其他配置项
        return sessionFactoryBean.getObject();
    }
    @Bean(name = "slaveSqlSessionTemplate")
    public SqlSessionTemplate slaveSqlSessionTemplate(@Qualifier("slaveSqlSessionFactory") SqlSessionFactory sqlSessionFactory) {
        return new SqlSessionTemplate(sqlSessionFactory);
    }
}

在mapper上进行分发:

@Mapper
@Qualifier("masterSqlSessionTemplate")
public interface MasterMapper {
    // 主节点操作
    @Insert("XXXXX")
    int insertToMaster();
}
@Mapper
@Qualifier("slaveSqlSessionTemplate")
public interface SlaveMapper {
    // 从节点操作
    @Select("XXXX")
    List<MyEntity> selectFromSlave();
}

这里还是会存在一个问题就是没有充分利用到slave节点来进行负载均衡,我们可以改进一下:

首先实现自己的负载均衡策略:

public class LoadBalanceDataSource {
    private List<SqlSessionTemplate> sqlSessionTemplates;
    public LoadBalanceDataSource(List<SqlSessionTemplate> sqlSessionTemplates) {
        this.sqlSessionTemplates = sqlSessionTemplates;
    }
    public SqlSessionTemplate getReadSqlSessionTemplate() {
        // 根据负载均衡算法选择一个从节点
        int index = calculateIndex();
        return sqlSessionTemplates.get(index);
    }
    private int calculateIndex() {
        // 自定义负载均衡算法,例如轮询、随机等
        // 这里仅作示例,实际应根据具体情况选择适合的算法
        // ...
    }
}

然后将这个策略实体托管给IOC:

@Configuration
@MapperScan(basePackages = "com.example.mappers")
public class MyDataSourceConfig {
    @Autowired
    private List<SqlSessionTemplate> sqlSessionTemplates;
    @Bean
    public LoadBalanceDataSource loadBalanceDataSource() {
        return new LoadBalanceDataSource(sqlSessionTemplates);
    }
}

然后,在需要的地方,注入:

@Service
public class MyService {
    @Autowired
    private LoadBalanceDataSource loadBalanceDataSource;
    public void readOperation() {
        SqlSessionTemplate readSqlSessionTemplate = loadBalanceDataSource.getReadSqlSessionTemplate();
        // 使用readSqlSessionTemplate执行读操作
        // ...
    }
}

3.2.3.中间件

前面手动分发的时候我们会发现一个问题,就是我们需要大量的代码去手写整个分发过程,而且需要我们去手动去写负载均衡算法,往往我们自己实现的负载均衡算法,效果不会很好。所以有没有开源组件可以帮我们实现请求分发的这个效果喃?其实有专门的这一类组件——数据库中间件。它们在client和数据库server间作为中间层,请求先走到它们上面,它们再对请求做二次处理,这种二次处理就提供了诸如:负载均衡、安全访问控制、故障转移、请求过滤等能力。


以下给出一个使用数据库中间件中最热门、应用最为广泛的proxy sql解决读写请求分发的示例:


1.安装ProxySQL:根据您的操作系统,从ProxySQL的官方网站下载并安装适当版本的ProxySQL。


2.配置ProxySQL:创建ProxySQL的配置文件,通常为proxysql.cnf,并根据您的环境进行配置。以下是一个示例配置文件的基本结构:

datadir="/var/lib/proxysql"
admin_variables=
{
    admin_credentials="admin:admin"
    mysql_ifaces="0.0.0.0:6032"
}
mysql_variables=
{
    threads=4
    max_connections=2048
    default_query_delay=0
    default_query_timeout=36000000
    have_compress=true
    poll_timeout=2000
    interfaces="0.0.0.0:6033;/path/to/mysql.sock"
    default_schema="information_schema"
    stacksize=1048576
}
mysql_servers =
(
    { address = 'master_host', port = master_port, hostgroup = 1 },
    { address = 'slave1_host', port = slave1_port, hostgroup = 2 },
    { address = 'slave2_host', port = slave2_port, hostgroup = 2 },
    ...
)
mysql_users =
(
    { username = 'your_username', password = 'your_password', default_hostgroup = 1, active = 1 },
)
mysql_query_rules =
(
    { rule_id = 1, match_pattern = "^SELECT.*FOR UPDATE", destination_hostgroup = 1 },
    { rule_id = 2, match_pattern = ".*", destination_hostgroup = 2 },
)

在上述配置中,·需要替换以下内容:


admin_credentials中的用户名和密码,用于访问ProxySQL的管理接口。


mysql_servers中的主节点和从节点的主机名(或IP地址)和端口号。


mysql_users中的用户名和密码,用于连接到MySQL数据库。


mysql_query_rules中的规则,用于指定不同类型的查询应该转发到哪个主机组。


3.启动ProxySQL:运行以下命令启动ProxySQL:


proxysql --initial -f -c /path/to/proxysql.cnf


4.配置应用程序连接:将应用程序的数据库连接配置更改为连接到ProxySQL的地址和端口号。例如,使用JDBC连接字符串:


jdbc:mysql://proxysql_host:proxysql_port/database_name


将proxysql_host和proxysql_port替换为ProxySQL的主机名(或IP地址)和端口号,database_name替换为实际的数据库名称。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
SQL 关系型数据库 MySQL
mysql主从复制概述和配置
【10月更文挑战第22天】MySQL 主从复制是一种将主服务器的数据复制到一个或多个从服务器的技术,实现读写分离,提高系统性能和可用性。主服务器记录变更日志,从服务器通过 I/O 和 SQL 线程读取并应用这些变更。适用于读写分离、数据备份和恢复、数据分析等场景。配置步骤包括修改配置文件、创建复制用户、配置从服务器连接主服务器并启动复制进程。
126 1
|
2月前
|
监控 关系型数据库 MySQL
深入了解MySQL主从复制:构建高效稳定的数据同步架构
深入了解MySQL主从复制:构建高效稳定的数据同步架构
140 1
|
7天前
|
关系型数据库 MySQL 数据库
docker高级篇(大厂进阶):安装mysql主从复制
docker高级篇(大厂进阶):安装mysql主从复制
63 24
|
2月前
|
存储 关系型数据库 MySQL
MySQL主从复制原理和使用
本文介绍了MySQL主从复制的基本概念、原理及其实现方法,详细讲解了一主两从的架构设计,以及三种常见的复制模式(全同步、异步、半同步)的特点与适用场景。此外,文章还提供了Spring Boot环境下配置主从复制的具体代码示例,包括数据源配置、上下文切换、路由实现及切面编程等内容,帮助读者理解如何在实际项目中实现数据库的读写分离。
117 1
MySQL主从复制原理和使用
|
2月前
|
SQL 关系型数据库 MySQL
Mysql中搭建主从复制原理和配置
主从复制在数据库管理中广泛应用,主要优点包括提高性能、实现高可用性、数据备份及灾难恢复。通过读写分离、从服务器接管、实时备份和地理分布等机制,有效增强系统的稳定性和数据安全性。主从复制涉及I/O线程和SQL线程,前者负责日志传输,后者负责日志应用,确保数据同步。配置过程中需开启二进制日志、设置唯一服务器ID,并创建复制用户,通过CHANGE MASTER TO命令配置从服务器连接主服务器,实现数据同步。实验部分展示了如何在两台CentOS 7服务器上配置MySQL 5.7主从复制,包括关闭防火墙、配置静态IP、设置域名解析、配置主从服务器、启动复制及验证同步效果。
Mysql中搭建主从复制原理和配置
|
3月前
|
存储 关系型数据库 MySQL
分析MySQL主从复制中AUTO_INCREMENT值不一致的问题
通过对 `AUTO_INCREMENT`不一致问题的深入分析和合理应对措施的实施,可以有效地维护MySQL主从复制环境中数据的一致性和完整性,确保数据库系统的稳定性和可靠性。
127 6
|
3月前
|
存储 关系型数据库 MySQL
分析MySQL主从复制中AUTO_INCREMENT值不一致的问题
通过对 `AUTO_INCREMENT`不一致问题的深入分析和合理应对措施的实施,可以有效地维护MySQL主从复制环境中数据的一致性和完整性,确保数据库系统的稳定性和可靠性。
77 1
|
3月前
|
关系型数据库 MySQL Java
MySQL主从复制实现读写分离
MySQL主从复制(二进制日志)、 Sharding-JDBC实现读写分离
MySQL主从复制实现读写分离
|
4月前
|
存储 关系型数据库 MySQL
实战!MySQL主从复制一键搭建脚本分享
实战!MySQL主从复制一键搭建脚本分享
98 2
|
4月前
|
SQL 关系型数据库 MySQL
说一下MySQL主从复制的原理?
【8月更文挑战第24天】说一下MySQL主从复制的原理?
66 0

推荐镜像

更多