MySQL主从复制实现读写分离

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: MySQL主从复制(二进制日志)、 Sharding-JDBC实现读写分离

   导航:

【Java笔记+踩坑汇总】Java基础+JavaWeb+SSM+SpringBoot+SpringCloud+瑞吉外卖/谷粒商城/学成在线+设计模式+面试题汇总+性能调优/架构设计+源码解析

目录

读写分离

1.1 多台数据库

1.2.MySQL主从复制(二进制日志)

1.2.1 介绍

1.2.2 配置主从数据库

1.2.3 测试

1.3 读写分离案例

1.3.1 背景

1.3.2 Sharding-JDBC实现读写分离

1.3.3 入门案例

1.4.项目实现读写分离

1.4.1 主从复制

1.4.2 代码实现


读写分离

1.1 多台数据库

单台数据库

读和写都在单台数据库,访问压力过大,数据库服务器磁盘损坏则数据丢失,单点故障。

image.gif

多台数据库减小服务器压力

写操作在主库完成,主库数据同步到从库,读操作在从库完成。

image.gif

1.2.MySQL主从复制(二进制日志)

1.2.1 介绍

MySQL主从复制是一个异步的复制过程,底层是基于Mysql数据库自带的二进制日志功能。

就是一台或多台MysQL数据库(slave,即从库)另一台NySQL数据库(master,即主库进行日志的复制然后再解析日志并应用到自身,最终实现从库的数据和主库的数据保持一致。MySQL主从复制是NySQL数据库自带功能,无需借助第三方工具。

MySQL复制过程:

  1. master将“改变”记录到二进制日志(binary log)
  2. slave将master的binary log拷贝到它的中继日志(relay log)
  3. slave重做中继日志中的事件,将改变应用到自己的数据库中

image.gif

主库1个,从库可以有多个

1.2.2 配置主从数据库

前置条件:提前准备两台服务器(linux),使用finalshell连接后,分别安装mysql并启动服务成功。

1.2.2.1 配置主库maser(centos1)

建议主从库都用centos,跟自己Windows环境的数据库区分开

第一步:修改MySQL数据库的配置文件, /etc/my.cfg

vim /ect/my.cnf

image.gif

修改

[mysqld]
log-bin=mysql-bin #[必须]启用二进制日志
server-id=100 #[必须] 服务器唯一id

image.gif

第二步:重启MySQL

如果是linux:

systemctl restart mysqld

image.gif

第三步:登录MySQL数据库,执行以下SQL

mysql -uroot -p密码

image.gif

GRANT REPLICATION SLAVE ON *.* to 'xiaoming'@'%' identified by 'Root@123456';

image.gif

注意:

  • 上面SQL的作用是创建一个用户xiaoming, 密码为Root@123456,并且给xiaoming用户授予REPLICATION SLAVE权限。密码和用户名可以自己设置。
  • REPLICATION SLAVE(replication译为主从复制,努力)权限常用于建立复制时所需要用到的用户权限,也就是slave必须被master授权具有该权限的用户,才能通过该用户复制。

第四步:查看master状态,执行以下sql,记录结果中的FIle和Position的值

show master status;

image.gif

image.gif

执行完上面SQL语句,不要再执行任何操作

1.2.2.2 配置从库Slave(centos数据库2)

可以新建一个centos,安装数据库作为从库,也可以使用当前Windows,主要是主从库不能是同一台服务器。

第一步,修改MySQL数据库的配置文件, /etc/my.cnf

vim /ect/my.cnf

image.gif

修改:

[mysqld]
#从数据库的唯一id
server-id=101

image.gif

如果是Windows,修改mysql安装目录的my.ini

第二步:重新启动mysql服务

systemctl restart mysqld

image.gif

如果是Windows

net stop mysql
net start mysql
image.gif

第三步:登录mysl,设置主库ip、用户名密码、日志文件名、密码

mysql -uroot -p123456

image.gif

执行以下SQL语句

先将下面信息修改成自己的主数据库信息:

change master to
master_host= '192.168.112.100',master_user='xiaoming',master_password='Root@123456', master_log_file= 'mysql-bin.000002',master_log_pos=441;
start slave;

image.gif

注意:

  • 如果提示已经有slave运行就先停止:stop slave;然后再绑定主机
  • 日志名、位置一定要根据自己查主库状态:
show master status;
image.gif

image.gif

第四步:查询从数据库的状态

show slave status;

image.gif

复制粘贴到记事本,更直观:

image.gif

1.2.3 测试

主库新增数据,从库也自动跟着新增数据。

image.gif

1.3 读写分离案例

1.3.1 背景

面对日益增加的系统访问量,数据库的吞吐量面临着巨大瓶颈。对于同一时刻有大量并发读操作和较少写操作类型的应用系统来说,将数据库拆分为主库和从库,

  • 主库负责处理事务性的增删改操作
  • 从库负责处理查询操作

能够有效的避免由数据更新导致的行锁,使得整个系统的查询性能得到极大的改善。

image.gif

1.3.2 Sharding-JDBC实现读写分离

Sharding-JDBC定位为轻量级Java框架,在Java的JDBC层提供的额外服务。它使用客户端直连数据库,以jar包形式提供服务,Maven中导入坐标即可使用,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架。 使用Sharding-JDBC可以在程序中轻松的实现数据库读写分离。

  • 适用于任何基于JDBC的ORM框架,如: JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
  • 支持任何第三方的数据库连接池,如: DBCP, C3PO, BoneCP, Druid, HikariCP等。
  • 支持任意实现JDBC规范的数据库。目前支持MySQL, Oracle, SQLServer, PostgreSQL以及 任何遵循SQL92标准的数据库。

1.3.3 入门案例

1.3.3.1 导入Sharding-JDBC的maven坐标

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId> sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.0. 0-RC1</version>
</dependency>

image.gif

1.3.3.2 在配置文件中配置读写分离规则

server:
  port: 8080
mybatis-plus:
  configuration:
    #在映射实体或者属性时,将数据库中表名和字段名中的下划线去掉,按照驼峰命名法映射
    map-underscore-to-camel-case: true
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
  global-config:
    db-config:
      id-type: ASSIGN_ID
spring:
  shardingsphere:
    datasource:
      names:
        master,slave
      ## 主数据源
      master:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.112.100:3306/rw?characterEncoding=utf-8
        username: root
        password: 123456
      ## 从数据源
      slave:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.138.101:3306/rw?characterEncoding=utf-8
        username: root
        password: 123456
    masterslave:
      ## 读写分离配置
      load-balance-algorithm-type: round_robin
      ## 最终的数据源名称
      name: dataSource
      ## 主库数据源名称
      master-data-source-name: master
      ## 从库数据源名称列表,多个逗号分隔
      slave-data-source-names: slave
    props:
      sql:
        show: true #开启SQL显示,默认false
  main:
    allow-bean-definition-overriding: true

image.gif

1.3.3.3 在配置文件中配置允许bean定义覆盖配置项

main:
    allow-bean-definition-overriding: true

image.gif

1.4.项目实现读写分离

1.4.1 主从复制

利用前面配置好的主从关系,在主库中创建一个数据库,并导入提供的数据库表,更新主从数据库即可

image.gif image.gif

1.4.2 代码实现

1.4.2.1 导入maven依赖

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId> sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.0.0-RC1</version>
</dependency>

image.gif

1.4.2.2 在配置文件中配置读写分离规则

server:
  port: 8080
spring:
  application:
    name: reggie_take_out
  shardingsphere:
    datasource:
#自定义数据源名字,名字随便取,注意是下面masterslave配置主从数据源名字
      names:
        master,slave
      ## 主数据源
      master:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.112.100:3306/rjdb?characterEncoding=utf-8
        username: root
        password: 123456
      ## 从数据源
      slave:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://127.0.0.1:3306/rjdb?characterEncoding=utf-8
        username: root
        password: 123456
#配置主从信息
    masterslave:
      ## 从库的负载均衡算法类型,round_robin意思是几个从库轮流查询
      load-balance-algorithm-type: round_robin
      ## 最终的数据源名称
      name: dataSource
      ## 主库数据源名称
      master-data-source-name: master
      ## 从库数据源名称列表,多个逗号分隔
      slave-data-source-names: slave
    props:
      sql:
        show: true #开启SQL显示,默认false
#允许bean定义覆盖配置项
  main:
    allow-bean-definition-overriding: true
  redis:
    host: 192.168.112.100
    port: 6379
    password: 123456
    database: 0
  cache:
    redis:
      time-to-live: 1800000  #设置缓存数据的过期时间
mybatis-plus:
  configuration:
    #在映射实体或者属性时,将数据库中表名和字段名中的下划线去掉,按照驼峰命名法映射
    map-underscore-to-camel-case: true
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
  global-config:
    db-config:
      id-type: ASSIGN_ID
## 文件上传后保存路径
rj:
  path: F:\JavaCode\RuiJiProject\src\main\java\com\jq\uploaddata\

image.gif

1.4.2.3 允许bean定义覆盖配置项

不配置时报错:

image.gif

配置:

#允许bean定义覆盖配置项
spring:
  main:
    allow-bean-definition-overriding: true

image.gif


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3天前
|
存储 关系型数据库 MySQL
分析MySQL主从复制中AUTO_INCREMENT值不一致的问题
通过对 `AUTO_INCREMENT`不一致问题的深入分析和合理应对措施的实施,可以有效地维护MySQL主从复制环境中数据的一致性和完整性,确保数据库系统的稳定性和可靠性。
18 6
|
4天前
|
存储 关系型数据库 MySQL
分析MySQL主从复制中AUTO_INCREMENT值不一致的问题
通过对 `AUTO_INCREMENT`不一致问题的深入分析和合理应对措施的实施,可以有效地维护MySQL主从复制环境中数据的一致性和完整性,确保数据库系统的稳定性和可靠性。
15 1
|
24天前
|
SQL 关系型数据库 MySQL
说一下MySQL主从复制的原理?
【8月更文挑战第24天】说一下MySQL主从复制的原理?
46 0
|
25天前
|
存储 关系型数据库 MySQL
实战!MySQL主从复制一键搭建脚本分享
实战!MySQL主从复制一键搭建脚本分享
28 2
|
26天前
|
SQL 关系型数据库 MySQL
在Linux中,mysql 如何减少主从复制延迟?
在Linux中,mysql 如何减少主从复制延迟?
|
1月前
|
SQL 关系型数据库 MySQL
配置MySQL主从复制(一主一从)
配置MySQL主从复制(一主一从)
|
24天前
|
关系型数据库 MySQL 网络安全
MySQL主从复制详细教程
配置MySQL的主从复制是一个细致的过程,需要仔细遵循上述步骤进行。一旦配置完成并运行正常,主从复制将大大提高数据库的可用性和读写性能。在操作过程中,务必保持谨慎,确保数据的一致性和安全性。
74 0
|
1月前
|
SQL 关系型数据库 MySQL
(二十五)MySQL主从实践篇:超详细版读写分离、双主热备架构搭建教学
在上篇《主从原理篇》中,基本上把主从复制原理、主从架构模式、数据同步方式、复制技术优化.....等各类细枝末节讲清楚了,本章则准备真正对聊到的几种主从模式落地实践,但实践的内容通常比较枯燥乏味,因为就是调整各种配置、设置各种参数等步骤。
191 2
|
1月前
|
关系型数据库 MySQL PHP
开发者必看:MySQL主从复制与Laravel读写分离的完美搭配
开发者必看:MySQL主从复制与Laravel读写分离的完美搭配
53 2
|
29天前
|
SQL 关系型数据库 MySQL
mysql读写分离,主从同步
本文介绍了如何在Laravel项目中配置数据库读写分离,并实现MySQL主从同步。主要步骤包括:在`config/database.php`中设置读写分离配置;为主机授予从机访问权限;配置各MySQL服务器的`/etc/my.cnf`文件以确保唯一的`server-id`;以及通过SQL命令设置主从关系并启动从服务。文章还针对一些常见错误提供了排查方法。最后通过验证确认主从同步是否成功。[原文链接](https://juejin.cn/post/6901581801458958344)。版权所有者为作者佤邦帮主,转载请遵循相关规定。

热门文章

最新文章