银河麒麟V10 SP3 X86 二进制文件部署 mysql-5.7.29 GTID 半同步复制的双主架构

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 银河麒麟V10 SP3 X86 二进制文件部署 mysql-5.7.29 GTID 半同步复制的双主架构
  • 麒麟镜像可以去下面的地方下载,需要自己注册一个账号

啰嗦一下

  • 老生常谈的问题(这些问题都会影响部署的排查)
  • 关掉 firewalld
  • 关掉 selinux (银河麒麟默认会关闭 selinux)

我下载的海光 x86 版本的麒麟

NAME="Kylin Linux Advanced Server"
VERSION="V10 (Lance)"
ID="kylin"
VERSION_ID="V10"
PRETTY_NAME="Kylin Linux Advanced Server V10 (Lance)"
ANSI_COLOR="0;31"

mysql 的 AB 复制和 gtid 复制的优缺点

抄自 opengpt 3.5

在 MySQL 中,有两种常见的复制方式:AB 复制(Asynchronous Replication)和 GTID 复制(Global Transaction Identifier Replication)。

AB 复制(Asynchronous Replication)

优点

  1. 简单易用:AB 复制是 MySQL 复制的最基本形式,设置相对简单,适合初学者或简单复制场景。
  2. 性能:因为是异步复制,主数据库不需要等待从数据库的确认,所以主库的写操作可以更快地完成,提高了主库的性能。
  3. 容错:在出现网络故障或从库延迟时,主库不会受到影响,继续提供服务。

缺点:

  1. 数据延迟:因为是异步复制,从库的数据可能会有一定的延迟,这意味着在主库上提交的事务不会立即在从库上可见。
  2. 数据一致性:由于延迟,主从之间的数据可能会出现不一致的情况,这需要开发者自行处理。
  3. 单点故障:如果主库故障,需要手动切换到备库,造成一定的停机时间。
GTID 复制(Global Transaction Identifier Replication)

优点:

  1. 数据一致性:使用 GTID,每个事务都有全局唯一的标识符,确保主从之间的数据一致性,避免数据冲突。
  2. 简化拓扑结构:GTID 复制使得添加或删除节点更加容易,不需要像传统复制那样配置复杂的 master-host 和 master-log-position。
  1. 自动故障转移:GTID 复制可以更容易地实现自动故障转移,当主库发生故障时,可以自动切换到从库。

缺点:

  1. 性能:由于 GTID 需要维护全局唯一标识符,可能会对性能产生一定的影响,尤其在高负载的情况下。
  2. 配置复杂性:相比 AB 复制,GTID 复制的配置较为复杂,特别是在现有的非 GTID 复制架构迁移到 GTID 复制时,需要谨慎处理。
  1. 兼容性:GTID 复制要求 MySQL 版本在 5.6 以上,如果要使用较旧的 MySQL 版本,可能不支持 GTID。
  • AB 复制适合简单的数据复制和备份需求,对数据一致性和高可用性要求不高的场景。
  • GTID 复制适合对数据一致性和高可用性要求较高的复制架构,尤其在复杂的拓扑结构和自动故障转移场景中更加有优势。选择哪种复制方式取决于应用程序的需求和系统的复杂性。

mysql gtid 并行复制和半同步复制的优缺点

在 MySQL GTID 主从复制中,还有两种复制模式:并行复制和半同步复制。这两种模式可以进一步提高复制的性能和数据一致性。让我们来看一下它们的优缺点和利弊:

并行复制(Parallel Replication)

优点:

  1. 提高复制性能:并行复制允许在从库上同时执行多个线程来处理不同的事务,从而提高了复制的性能和吞吐量。
  2. 减少延迟:通过并行执行事务,从库可以更快地赶上主库,从而减少数据复制的延迟。
  3. 多核利用:现代服务器通常有多个核心,使用并行复制可以更好地利用这些多核心,加快数据复制。

缺点:

  1. 复杂性增加:并行复制的配置和管理相对复杂,可能需要更多的系统资源和监控,不适合所有环境。
  2. 并发控制:并行复制可能导致数据在不同线程之间的冲突和竞争,需要开发者正确处理并发控制问题。
半同步复制(Semi-Synchronous Replication)

优点:

  1. 数据安全性:半同步复制确保至少一个从库已经确认接收并写入主库的事务,从而提高数据的安全性和一致性。
  2. 高可用性:在主库发生故障时,由于至少有一个从库已经复制了主库的数据,可以更快地将从库提升为新的主库,减少停机时间。
  3. 监控机制:半同步复制提供了可以监控从库复制进度的机制,使得管理员可以更好地了解复制的状态和延迟情况。

缺点:

  1. 性能影响:由于需要等待至少一个从库确认写入,半同步复制可能对主库的性能产生一定的影响,特别是在写入负载较高的情况下。
  2. 单点故障:如果配置了多个从库,并且至少一个从库确认写入的要求,那么当所有从库都不可用时,主库的写入将会受阻。

综合考虑

  • 并行复制适用于高负载环境,可以显著提高复制性能和减少复制延迟,但配置和管理相对较复杂。
  • 半同步复制适用于对数据安全性和高可用性要求较高的场景,但可能会对主库的性能产生一定的影响。选择哪种模式取决于具体的应用需求和系统性能情况。

准备两台虚拟机,我们启航

好戏开场

部署 mysql

  • 下面的操作,都是使用的 root 用户,但是 mysql 使用的是普通用户
  • 部署 mysql 是两台虚拟机都需要安排的
创建 mysql 启动的用户

创建的 mysql 用户就分配一个 nologin 的 shell,不给登录机器的

useradd mysql -s /sbin/nologin
创建 mysql 安装包存放路径
mkdir -p /data/software/mysql

上传或者下载 mysql 二进制文件到 /data/software/mysql 下后进行解压,这里就不体现步骤了

下面的命令给 mysql 二进制文件修改用户权限,让 mysql 用户有权限可以读取

chown -R mysql /data/software/mysql/mysql-5.7.29-linux-glibc2.12-x86_64
创建主库 mysql 配置文件

我这边就用了 GTID 的半同步模式

  • 创建对应的目录 [两台机器都需要创建]
mkdir -p /data/mysql/{mysql_data,logs,config}
  • 在 mysql 主库上创建配置文件
cat << EOF > /data/mysql/config/my.cnf
[mysqld]
pid-file=/data/mysql/mysqld.pid
socket=/data/mysql/mysqld.sock
datadir=/data/mysql/mysql_data
log-error=/data/mysql/logs/error.log
port=13306
# MySQL 在运行时需要 errmsg.sys 文件来显示和报告错误消息
lc-messages-dir=/data/software/mysql/mysql-5.7.29-linux-glibc2.12-x86_64/share/english
# GTID
## 每个 mysql 的 server_id 不能重复
server_id=135
# 新事务和复制事务都必须是 GTID 事务
gtid_mode=on
# 不允许任何事务违反 GTID 一致性
enforce_gtid_consistency=on
# MySQL 在启动时会跳过启动从服务器的复制线程,从而暂时禁止从服务器执行复制任务
skip_slave_start=1
# binlog
# binlog 文件的名称
log_bin=mysql-bin
# 设置每个二进制日志文件的最大大小
max_binlog_size=100m
# 设置用于缓存二进制日志事件的缓冲区大小
binlog_cache_size=4m
# 设置 binlog 缓存的最大大小
max_binlog_cache_size=512m
# binlog 类型
binlog_format=ROW
# binlog 过期时间
expire_logs_days=7
# binlog 记录忽略的数据库
binlog-ignore-db=sys,mysql,performance_schema,information_schema
# 从服务器将主服务器的更新记录到自己的 binlog 里面
log-slave-updates=ON
# 每次提交事务时,等待将日志写入磁盘并返回成功后才继续执行
sync_binlog=1
# 配置半同步复制使用的插件
plugin-load="rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so"
# 开启半同步复制
rpl_semi_sync_master_enabled=ON
rpl_semi_sync_slave_enabled=ON
bind-address=0.0.0.0
# 是否允许在数据库目录下使用符号链接
## symbolic-links=0:表示不允许使用符号链接。如果设置为 0,MySQL 服务器在启动时将不会使用数据库目录下的符号链接,并且可能会在符号链接存在时报错。
## symbolic-links=1:表示允许使用符号链接。如果设置为 1,MySQL 服务器在启动时将允许使用数据库目录下的符号链接,但仅限于特定目录或文件(根据权限设置)。
## symbolic-links=2:表示允许使用符号链接,且没有限制。如果设置为 2,MySQL 服务器在启动时将允许使用数据库目录下的任意符号链接,包括对任意文件或目录的链接。
symbolic-links=0
# mysql 最大连接数
max_connections=1000
# 默认存储引擎
default_storage_engine=innodb
# 禁用外部锁定,MySQL 将使用内部锁定来代替外部锁定
skip_external_locking
# 0:表名存储为原始大小写,区分大小写;
# 1:表名存储为小写,不区分大小写;
# 2:表名存储为小写,但会在文件系统上进行名称比较,因此会区分大小写。
lower_case_table_names=1
# 禁用主机缓存,每次都要重新解析域名
skip_host_cache
# 开启主机名解析
skip_name_resolve
# 设置服务器的默认字符集
character_set_server=utf8
# 客户端与服务器之间允许的最大数据包大小
max_allowed_packet=12M
# 控制 SQL 的执行模式
## STRICT_TRANS_TABLES:启用严格模式,对于事务表,如果有非法数据插入或更新,将会引发错误
## NO_ZERO_IN_DATE:禁止在日期中使用 "0000-00-00" 这样的零值,否则会被转换为 NULL 值
## ERROR_FOR_DIVISION_BY_ZERO:当除零错误发生时,产生错误而不是返回 NULL 值
## NO_AUTO_CREATE_USER:禁止 GRANT 语句自动创建新用户,必须手动创建
## NO_ENGINE_SUBSTITUTION:如果指定的存储引擎不可用或不存在,不要自动替换为其他可用的存储引擎,而应该返回错误
sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION'
[client]
# 设置 MySQL 客户端连接的默认字符集
character-set-client=utf8
EOF
创建从库 mysql 配置文件
  • 在 mysql 从库上创建配置文件
  • 注意 service_id 要和主库的不一样
cat << EOF > /data/mysql/config/my.cnf
[mysqld]
pid-file=/data/mysql/mysqld.pid
socket=/data/mysql/mysqld.sock
datadir=/data/mysql/mysql_data
log-error=/data/mysql/logs/error.log
port=13306
lc-messages-dir=/data/software/mysql/mysql-5.7.29-linux-glibc2.12-x86_64/share/english
server_id=136
gtid_mode=on
enforce_gtid_consistency=on
skip_slave_start=1
log_bin=mysql-bin
max_binlog_size=100m
binlog_cache_size=4m
max_binlog_cache_size=512m
binlog_format=ROW
expire_logs_days=7
binlog-ignore-db=sys,mysql,performance_schema,information_schema
log-slave-updates=ON
sync_binlog=1
plugin-load="rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so"
rpl_semi_sync_master_enabled=ON
rpl_semi_sync_slave_enabled=ON
bind-address=0.0.0.0
symbolic-links=0
max_connections=1000
default_storage_engine=innodb
skip_external_locking
lower_case_table_names=1
skip_host_cache
skip_name_resolve
character_set_server=utf8
max_allowed_packet=12M
sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION'
[client]
character-set-client=utf8
EOF

修改文件和目录的用户权限

chown -R mysql /data/mysql
chown -R mysql /data/software/mysql/mysql-5.7.29-linux-glibc2.12-x86_64
mysql 初始化
mysqld --initialize-insecure \
--user=mysql \
--basedir=/data/software/mysql/mysql-5.7.29-linux-glibc2.12-x86_64 \
--datadir=/data/mysql/mysql_data
创建 systemcl 管理
cat << EOF > /usr/lib/systemd/system/mysqld.service
[Unit]
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Type=forking
TimeoutSec=0
PermissionsStartOnly=true
ExecStart=/data/software/mysql/mysql-5.7.29-linux-glibc2.12-x86_64/bin/mysqld \\
          --defaults-file=/data/mysql/config/my.cnf --daemonize \\
          --plugin-dir=/data/software/mysql/mysql-5.7.29-linux-glibc2.12-x86_64/lib/plugin
LimitNOFILE=5000
Restart=on-failure
RestartPreventExitStatus=1
PrivateTmp=false
EOF

启动 mysql

systemctl daemon-reload
systemctl enable mysqld
systemctl start mysqld

进入 mysql 验证

初始化的时候没有带密码,进入 mysql 不需要密码,直接回车就可以了

mysql -uroot -p -S /data/mysql/mysqld.sock
  • 以下的操作没有特殊提示,均在 mysql 内操作
修改 root 用户密码
SET PASSWORD FOR root@localhost = PASSWORD ('abc123');

配置互为主从

从库配置主从关系

主库创建复制用户

CREATE USER 'rpldb'@'%' IDENTIFIED BY 'rpldb007';
GRANT REPLICATION SLAVE ON *.* TO 'rpldb'@'%';

主库查看 binlog 名称和 Position 信息

SHOW MASTER STATUS\G

获取到类似如下的信息

*************************** 1. row ***************************
             File: mysql-bin.000001
         Position: 841
     Binlog_Do_DB:
 Binlog_Ignore_DB: sys,mysql,performance_schema,information_schema
Executed_Gtid_Set: c5b4fcf9-3699-11ee-845e-000c29db9ce6:1-3

从库配置主从,下面的 ip 和用户名,密码,binlog 文件名称和 Position 都要替换成自己实际的信息

CHANGE MASTER TO MASTER_HOST='172.72.0.135', MASTER_PORT=13306, MASTER_USER='rpldb', MASTER_PASSWORD='rpldb007', MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=841;

启动复制

START SLAVE;

查看 slave 情况

SHOW SLAVE STATUS\G

看到这两个都是 yes,表示主从复制已经建立成功了

Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
主库配置互为主从关系

从库创建复制用户

CREATE USER 'rpldb'@'%' IDENTIFIED BY 'rpldb007';
GRANT REPLICATION SLAVE ON *.* TO 'rpldb'@'%';

从库查看 binlog 名称和 Position 信息

SHOW MASTER STATUS\G

获取到类似如下的信息

*************************** 1. row ***************************
             File: mysql-bin.000001
         Position: 841
     Binlog_Do_DB:
 Binlog_Ignore_DB: sys,mysql,performance_schema,information_schema
Executed_Gtid_Set: 1d31ccb1-369d-11ee-bff2-000c29cd48ee:1-3

主库配置互为主从,下面的 ip 和用户名,密码,binlog 文件名称和 Position 都要替换成自己实际的信息

CHANGE MASTER TO MASTER_HOST='172.72.0.136', MASTER_PORT=13306, MASTER_USER='rpldb', MASTER_PASSWORD='rpldb007', MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=841;

启动复制

START SLAVE;

查看 slave 情况

SHOW SLAVE STATUS\G

看到这两个都是 yes,表示主从复制已经建立成功了

Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

验证主从复制

主库创建一个测试数据

-- 建库
CREATE DATABASE replication_test;
-- 进入到库里
USE replication_test;
-- 建表
CREATE TABLE replication_test.slt(
  num int auto_increment primary key,
  name char(10),
  job char(10),
  age int,
  salary int,
  descrip char(128)not null default ''
)charset=utf8;
-- 插入数据
INSERT INTO replication_test.slt(name, job, age, salary,descrip) VALUES
('Tom','teacher',30,20000,'level2'),
('frank','teacher',31,21000,'level2'),
('jack','teacher',32,22000,'level2'),
('jhon','asistant',23,8000,'level3'),
('hugo','manager',45,30000,'level4'),
('jinhisan','teacher',26,9000,'level1');

主库查看一下数据

SELECT * FROM replication_test.slt WHERE name='Tom';

获取到如下的信息

+-----+------+---------+------+--------+---------+
| num | name | job     | age  | salary | descrip |
+-----+------+---------+------+--------+---------+
|   1 | Tom  | teacher |   30 |  20000 | level2  |
+-----+------+---------+------+--------+---------+

可以在从库看一下,同样可以获取到一样的信息

模拟主库故障

通过停止主库的服务来模拟出现故障,然后在从库继续写入数据,验证主库修复后,是否会建立数据同步

systemctl stop mysqld

在从库内看同步情况,可以看到 Slave_IO_Running 变成了 Connecting 状态

在从库内继续写入数据

INSERT INTO replication_test.slt(name, job, age, salary,descrip) VALUES
('Rose','teacher',30,20000,'level1'),
('Maybe','manager',28,30000,'level4');

重新启动宕机的 mysql 服务

systemctl start mysqld

启动宕机 mysql 的复制

START SLAVE;

查看 slave 情况,看到 Slave_IO_RunningSlave_SQL_Running 都是 yes 即可

SHOW SLAVE STATUS\G

宕机恢复的节点进行数据查看,验证数据是否同步

SELECT * from replication_test.slt WHERE name='Maybe';

可以正常获取到数据,证明互为主从没毛病

+-----+-------+---------+------+--------+---------+
| num | name  | job     | age  | salary | descrip |
+-----+-------+---------+------+--------+---------+
|   8 | Maybe | manager |   28 |  30000 | level4  |
+-----+-------+---------+------+--------+---------+


相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2天前
|
运维 监控 JavaScript
【阿里云云原生专栏】Serverless架构下的应用部署与运维:阿里云Function Compute深度探索
【5月更文挑战第21天】阿里云Function Compute是事件驱动的无服务器计算服务,让用户无需关注基础设施,专注业务逻辑。本文详述了在FC上部署应用的步骤,包括创建函数、编写代码和部署,并介绍了运维功能:监控告警、日志管理、版本管理和授权管理,提供高效低成本的计算服务。
126 6
|
2天前
|
SQL 存储 关系型数据库
MySQL架构
【5月更文挑战第21天】MySQL架构
9 1
|
5天前
|
运维 监控 Docker
使用Docker进行微服务架构的部署
【5月更文挑战第18天】本文探讨了如何使用Docker进行微服务架构部署,介绍了Docker的基本概念,如容器化平台和核心组件,以及它与微服务的关系。通过Docker,每个微服务可独立运行在容器中,便于构建、测试和部署。文章详细阐述了使用Docker部署微服务的步骤,包括定义服务、编写Dockerfile、构建镜像、运行容器、配置服务通信、监控和日志管理以及扩展和更新。Docker为微服务提供了可移植、可扩展的解决方案,是现代微服务架构的理想选择。
|
8天前
|
SQL canal 运维
MySQL高可用架构探秘:主从复制剖析、切换策略、延迟优化与架构选型
MySQL高可用架构探秘:主从复制剖析、切换策略、延迟优化与架构选型
|
8天前
|
网络安全 数据安全/隐私保护
银河麒麟v10系统SSH远程管理及切换root用户的操作方法
银河麒麟v10系统SSH远程管理及切换root用户的操作方法
|
8天前
|
运维 负载均衡 关系型数据库
MySQL高可用解决方案演进:从主从复制到InnoDB Cluster架构
MySQL高可用解决方案演进:从主从复制到InnoDB Cluster架构
|
8天前
|
编译器 API C语言
在x86架构汇编语言中函数参数传递的三种约定
在x86架构汇编语言中函数参数传递的三种约定
17 2
|
8天前
|
关系型数据库 MySQL 数据库
MySQL集群 双主架构(配置命令)
MySQL集群 双主架构(配置命令)
|
8天前
|
Kubernetes Cloud Native 持续交付
探索云原生架构的未来:如何优化资源管理和服务部署
【5月更文挑战第6天】 随着云计算的快速发展,云原生技术已成为企业数字化转型的关键驱动力。此篇文章深入探讨了云原生架构的核心组件及其在资源管理和服务部署方面的优化策略。通过分析容器化、微服务及自动化管理的实践案例,本文旨在为读者提供一套系统的方法论,以利用云原生技术实现更高效、灵活且可靠的IT基础设施。
33 2
|
8天前
|
设计模式 容灾 关系型数据库
MySQL 主从复制架构
MySQL 主从复制架构