mysql同步数据

本文涉及的产品
RDS Agent(兼容OpenClaw),2核4GB
RDS AI 助手,专业版
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
简介:
一, cluster 模式配置


数据库同步复制功能的设置都在 mysql 的设置文件中体现。主要工作原理为 slave 端记录并且执行 master 端的操作日志 .mysql 的配置文件( Linux 下为 /etc/my.cnf

1
、实施环境:
  操作系统: 2 linux AS 4, 完全安装 .
    
    A ip:192.168.1.240  (主数据库)
    B ip:192.168.1.247  (从数据库)


2
、配置方法

(1) 主从模式 [Master->Slave] A->B


A 中配置:

 
#service mysql start
#/usr/local/mysql/bin/mysql –u root -p123456


增加一个用户做为同步的用户帐号:


Mysql>GRANT REPLICATION SLAVE ON *.* TO lixin@'192.168.1.247' IDENTIFIED BY '123456';

 
//lixin 是同步账号, 123456 是同步密码

增加一个数据库作为同步数据库:

Mysql>create database backup;


B 上配置:


#service mysql start
#
/usr/local/mysql/bin/mysql –u root -p123456

增加一个用户最为同步的用户帐号:

Mysql> GRANT REPLICATION SLAVE ON *.* TO lixin@'192.168.1.240' IDENTIFIED BY '123456';

 
//lixin 是同步账号, 123456 是同步密码

增加一个数据库作为同步数据库:

Mysql>create database backup;

关闭 MYSQL  数据库


(2)  配置 Master Slave 参数



1. 修改 A mysql my.cnf 文件。

#vi /etc/my.cnf

server-id=1
binlog-do-db=backup                 
此处数据库名为要数据同步的数据库

log_err=my-err.log                     同步错误日志
max_binlog_size=104857600   配置完后重起数据库服务

show master status  命令看日志情况。

mysql> show master status;

+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000008 |      106 | backup       |                  | 
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

2. 修改 B  mysql my.cnf 文件。

#vi /etc/my.cnf

server-id=2
master-host=192.168.1.240   
//maste 主机 IP
master-user=lixin                  //lixin 是同步账号
master-password=123456     
//123456 是同步密码
master-port=3306                //master 主机的数据库端口
master-connect-retry=60       //设置心跳时间 ( 库同步间隔 )
replicate-do-db=backup        // 同步的数据库名


3、 启动数据库和数据复制


启动 SLAVE 从数据库:


#service mysql start
#
/usr/local/mysql/bin/mysql –u root -p123456

Mysql> stop  slave ;      # 暂停 slave master 同步数据 .


启动 MASTER 从数据库:


# service mysqld start
#  /usr/local/mysql/bin/mysql –u root -p123456


回到 SLAVE 从数据库终端:


Mysql>start slave


设置完成,启动成功:此处最好重启 mysql 服务

#service mysql restart 

: 有时候会启动失败 , 可采用下面启动方法
#/usr/local/mysql/bin/mysqladmin  –u root shutdown #
关闭数据库
#/usr/local/mysql/bin/mysqld_safe &                       #
启动数据库

查看是否启动同步复制线程:

Mysql>show slave status\G;

*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.1.240
                  Master_User: lixin
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000008
          Read_Master_Log_Pos: 106
               Relay_Log_File: localhost-relay-bin.000002
                Relay_Log_Pos: 251
        Relay_Master_Log_File: mysql-bin.000008
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: backup
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 106
              Relay_Log_Space: 410
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
1 row in set (0.00 sec)

注意:slave_IO进程及slave_SQL进程都必须正常运行,在状态输出重表现为:   Slave_IO_Running: Yes  Slave_SQL_Running: Yes 否则都是不正确的状态(如一个值Yes,另外一个是NO则不行).

如果不同步的解决办法 :

master 执行

mysql>stop slave;
Mysql>show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
mysql-bin.000008 |       106 | backup       |                  | 
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

注意 master 中显示的记录点位置和正在记录的日志文件名 , slave 中执行 :

mysql>  change master to master_host=’192.168.1.240‘, master_user=‘lixin’, master_password=‘123456’, master_log_file=‘ mysql-bin.000008 ’, master_log_pos=106;
Mysql>exit

#service mysql restart      # 重启 master slave mysql

未成功的话执行 :

#/usr/bin/mysqladmin –u root shutdown
#/usr/bin/mysqld_safe &

4、进行测试同步是否成功

在A服务器创建表

mysql>use backup;
mysql>create table lixin(name char(4));


然后在B服务器查看表有没有同步过来 如果过来就表示同步成功,否则就是失败了。



二.双机热备配置

配置双机方法其实就是在上述的 cluster 基础上略加改动,既在从机上做主机配置,在主机上做从机配置。具体方法如下:
   
   A ip:192.168.1.240
  B ip:192.168.1.247

在确定 cluster 模式配置成功后 , 关闭 master A )数据库:

#service mysql stop

#vi /etc/my.cnf

在配置文件中加入:

master-host=192.168.1.247     # 设置主机 IP 地址(从数据库ip)
master-user=lixin                   #
设置主机同步库用户名
master-password=123456
     # 设置主机同步库密码
replicate-do-db=backup           #
设置主要同步数据库
master-connect-retry=60         #
设置心跳时间 ( 库同步间隔 )
log_err=my-err.log                  #
同步错误日志

完成后保存退出 . 启动 :
  
#service mysql start
# /usr/local/mysql/bin/mysql –u root -p123456

配置 slave(B) /etc/my.cnf, 加入以下内容 :

#vi /etc/my.cnf

binlog-do-db=backup
log-bin=my_log

重启 mysql 服务 :

#Service mysql restart

A 执行 :

Mysql>start slave;
Mysql>show slave status\G;
------------+
| Waiting for master to send event | 192.168.0.112 | backup     |     3306 |         60 | my_log.000024   |             79 | l2-relay-bin.000010 |         4 | my_log.000024       | Yes         | Yes           | backup       |               |             |                 |                 |                   |       0 |         |         0 |             79 |           4 | None         |           |         0 | No           |             |             |           |             |           |             2741 |

B 执行 :;

mysql> show master status;
+---------------+----------+--------------+------------------+
| File       | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+---------------+----------+--------------+------------------+
| my_log.000024 |     79 | backup     |             |
+---------------+----------+--------------+------------------+
1 row in set (0.00 sec)

对比以上信息 , 日志记录文件名 , 同步数词库名和日志记录点 , 如果无误代表现在 SvrB 已经可以做为 A master 运行 . 但它本身也同时在做为 A slave 来运行 .
A 执行 :

Mysql>show master status;
+--------------+----------+--------------+------------------+
| File       | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+--------------+----------+--------------+------------------+
| mylog.000009 |     4 | backup     |             |
+--------------+----------+--------------+------------------+
1 row in set (0.00 sec)

B 执行
mysql> show slave status;
-------------+-----------------+-------------------+----------------+-----------------------+
| Waiting for master to send event | 192.168.0.111 | backup     |     3306 |         60 | mylog.000009   |             4 | l1-relay-bin.000003 |       313 | mylog.000009       | Yes         | Yes           | backup       |               |             |                 |                 |                   |       0 |         |         0 |             4 |         313 | None         |           |         0 | No           |             |             |           |             |           |             3575 |
+----------------------------------+---------------+-------------+-------------+
1 row in set (0.00 sec)

对比以上 A和 B 中的主机 ip, 同步数词库 , 同步日志文件名 , 同步日志记录点 . 确认无误后完成 .
注意:在对 mysql 进行配置后, master var/lib/mysql/ 下生成的 master.info 内容可能会不正确。可能会导致的错误是在将 SvrA 配置成 slave 时执行 slave start 出现大概意思为 :“ 本机未配置成 slave 服务器 , 请更改 config 文件或者执行 change master to 命令 …” 的提示 , 解决办法为 :
#Vi /var/lib/mysql/master.info
14
mylog.000007   ###
同步后要记录的日志文件
79         ###
日志记录点
192.168.0.111   ###
主机 IP
Backup       ###
同步数据库
123456       ###
同步数据库密码
3306       ###
同步端口
60         ###
心跳时间(同步间隔)
0
核对以上信息是否配置正确 , 为了更真实的测试同步准确性 , 建议在库中导入数据进行测试 . 以上 mysql cluster 模式和双机热备模式配置基本完成 .


本文转自wiliiwin 51CTO博客,原文链接:http://blog.51cto.com/wiliiwin/199216
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
12月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
10月前
|
SQL 人工智能 关系型数据库
如何实现MySQL百万级数据的查询?
本文探讨了在MySQL中对百万级数据进行排序分页查询的优化策略。面对五百万条数据,传统的浅分页和深分页查询效率较低,尤其深分页因偏移量大导致性能显著下降。通过为排序字段添加索引、使用联合索引、手动回表等方法,有效提升了查询速度。最终建议根据业务需求选择合适方案:浅分页可加单列索引,深分页推荐联合索引或子查询优化,同时结合前端传递最后一条数据ID的方式实现高效翻页。
534 0
|
7月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
838 6
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
9月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
717 10
|
10月前
|
SQL 存储 缓存
MySQL 如何高效可靠处理持久化数据
本文详细解析了 MySQL 的 SQL 执行流程、crash-safe 机制及性能优化策略。内容涵盖连接器、分析器、优化器、执行器与存储引擎的工作原理,深入探讨 redolog 与 binlog 的两阶段提交机制,并分析日志策略、组提交、脏页刷盘等关键性能优化手段,帮助提升数据库稳定性与执行效率。
276 0
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
563 28
|
存储 SQL 关系型数据库
【YashanDB知识库】MySQL迁移至崖山char类型数据自动补空格问题
**简介**:在MySQL迁移到崖山环境时,若字段类型为char(2),而应用存储的数据仅为'0'或'1',查询时崖山会自动补空格。原因是mysql的sql_mode可能启用了PAD_CHAR_TO_FULL_LENGTH模式,导致保留CHAR类型尾随空格。解决方法是与应用确认数据需求,可将崖山环境中的char类型改为varchar类型以规避补空格问题,适用于所有版本。
|
存储 SQL 缓存
mysql数据引擎有哪些
MySQL 提供了多种存储引擎,每种引擎都有其独特的特点和适用场景。以下是一些常见的 MySQL 存储引擎及其特点:
317 0
|
SQL 关系型数据库 MySQL
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
本文探讨了在使用YMP 23.2.1.3迁移MySQL Server字符集为latin1的中文数据至YashanDB时出现乱码的问题。问题根源在于MySQL latin1字符集存放的是实际utf8编码的数据,而YMP尚未支持此类场景。文章提供了两种解决方法:一是通过DBeaver直接迁移表数据;二是将MySQL表数据转换为Insert语句后手动插入YashanDB。同时指出,这两种方法适合单张表迁移,多表迁移可能存在兼容性问题,建议对问题表单独处理。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB

推荐镜像

更多