5 数据库秒级平滑2N扩容实践
扩容部署架构：
5.1 新增数据库VIP
- 在Server2节点， 增加VIP
修改/etc/keepalived/keepalived.conf，追加：
... vrrp_instance VI_2 { #vrrp实例定义 state BACKUP #lvs的状态模式，MASTER代表主， BACKUP代表备份节点 interface ens33 #绑定对外访问的网卡 virtual_router_id 112 #虚拟路由标示，同一个vrrp实例采用唯一标示 priority 100 #优先级，100代表最大优先级， 数字越大优先级越高 advert_int 1 #master与backup节点同步检查的时间间隔，单位是秒 authentication { #设置验证信息 auth_type PASS #有PASS和AH两种 auth_pass 6666 #验证密码，BACKUP密码须相同 } virtual_ipaddress { #KeepAlived虚拟的IP地址 10.10.20.131 } } virtual_server 10.10.20.131 3306 { #配置虚拟服务器IP与访问端口 delay_loop 6 #健康检查时间 persistence_timeout 0 #会话保持时间，这里要做测试， 所以设为0， 实际可根 据session有效时间配置 protocol TCP #转发协议类型，支持TCP和UDP real_server 10.10.20.126 3306{ #配置服务器节点VIP1 notify_down /usr/local/shell/mariadb.sh weight 1 #设置权重，越大权重越高 TCP_CHECK { #r状态监测设置 connect_timeout 10 #超时配置， 单位秒 retry 3 #重试次数 delay_before_retry 3 #重试间隔 connect_port 3306 #连接端口， 和上面保持一致 } } }
注意配置项：
virtual_router_id 112 #虚拟路由标示，同一个vrrp实例采用唯一标示 priority 100 #优先级，100代表最大优先级， 数字越大优先级越高
5.2 应用服务增加动态数据源
- 修改应用服务配置， 增加新的数据源， 指向新设置的VIP： 10.10.20.131
- 通过应用服务接口， 动态扩容调整
5.3 解除原双主同步
- 进入Server1:
MariaDB [(none)]> stop slave; - 进入Server2:
MariaDB [(none)]> stop slave; - 通过应用服务接口验证数据是否解除同步
5.4 安装MariaDB扩容服务器
- 新建两台虚拟机， 分别为Server3和Server4。
- 在Server3和Server4两台节点上安装MariaDB服务
参考 MariaDB服务安装 - 配置Server3与Server1，实现新的双主同步
- Server3节点， 修改/etc/my.cnf:
[mysqld] server-id = 2 log-bin=mysql-bin relay-log = mysql-relay-bin replicate-wild-ignore-table=mysql.% replicate-wild-ignore-table=information_schema.% log-slave-updates=on slave-skip-errors=all auto-increment-offset=2 auto-increment-increment=2 binlog_format=mixed expire_logs_days=10
- 重启Server3数据库
service mariadb restart - 创建replica用于主从同步的用户：
MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica'; mysql> flush privileges;
- 在Server1节点，进行数据全量备份：
mysqldump -uroot -p654321 --routines --single_transaction --master-data=2 -- databases smooth > server1.sql
- 查看并记录master status信息：
... -- -- Position to start replication or point-in-time recovery from -- -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000002', MASTER_LOG_POS=17748; ...
将备份的server1.sql通过scp命令拷贝至Server3节点。scp server1.sql root@10.10.20.127:/usr/local/
将数据还原至Server3节点：mysql -uroot -p654321 < /usr/local/server1.sql
- 配置主从同步信息
根据上面的master status信息， 在Server3中执行：
MariaDB [(none)]> change master to master_host='10.10.20.125',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000002', master_log_pos=17748, master_connect_retry=30; Query OK, 0 rows affected (0.01 sec)
- 开启主从同步：
MariaDB [(none)]> start slave; Query OK, 0 rows affected (0.00 sec)
如果出现问题， 复原主从同步信息：
MariaDB [(none)]> reset slave; Query OK, 0 rows affected (0.01 sec)
- 检查同步状态信息：
MariaDB [(none)]> show slave status \G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 10.10.20.125 Master_User: replica Master_Port: 3306 Connect_Retry: 30 Master_Log_File: mysql-bin.000004 Read_Master_Log_Pos: 11174 Relay_Log_File: mysql-relay-bin.000002 Relay_Log_Pos: 1746 Relay_Master_Log_File: mysql-bin.000004 Slave_IO_Running: Yes Slave_SQL_Running: Yes
- 配置Server1与Server3节点的同步
查看Server3的日志信息：
MariaDB [(none)]> show master status; +------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000001 | 4781 | | | +------------------+----------+--------------+------------------+
在Server1节点， 配置同步信息：
MariaDB [(none)]> reset slave; Query OK, 0 rows affected (0.00 sec) MariaDB [(none)]> change master to master_host='10.10.20.127',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=4781, master_connect_retry=30; MariaDB [(none)]> start slave; Query OK, 0 rows affected (0.00 sec)
- 配置Server4与Server2的双主同步
- Server4节点， 修改/etc/my.cnf:
[mysqld] server-id = 3 log-bin=mysql-bin relay-log = mysql-relay-bin replicate-wild-ignore-table=mysql.% replicate-wild-ignore-table=information_schema.% log-slave-updates=on slave-skip-errors=all auto-increment-offset=2 auto-increment-increment=2 binlog_format=mixed expire_logs_days=10
- 重启Server4数据库
service mariadb restart - 创建replica用于主从同步的用户
MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica'; mysql> flush privileges;
- 在Server2节点，进行数据全量备份：
mysqldump -uroot -p654321 --routines --single_transaction --master-data=2 -- databases smooth > server2.sql
- 查看并记录master status信息：
... -- -- Position to start replication or point-in-time recovery from -- -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=4208; ...
将备份的server2.sql通过scp命令拷贝至Server4节点。scp server2.sql root@10.10.20.128:/usr/local/
将数据还原至Server4节点：mysql -uroot -p654321 < /usr/local/server2.sql
配置主从同步信息
根据上面的master status信息， 在Server4中执行：
MariaDB [(none)]> change master to master_host='10.10.20.126',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000003', master_log_pos=4208, master_connect_retry=30; Query OK, 0 rows affected (0.01 sec)
- 开启主从同步：
MariaDB [(none)]> start slave; Query OK, 0 rows affected (0.00 sec)
注意， 如果出现问题， 复原主从同步信息：
MariaDB [(none)]> reset slave; Query OK, 0 rows affected (0.01 sec)
- 检查同步状态信息：
MariaDB [(none)]> show slave status \G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 10.10.20.125 Master_User: replica Master_Port: 3306 Connect_Retry: 30 Master_Log_File: mysql-bin.000004 Read_Master_Log_Pos: 11174 Relay_Log_File: mysql-relay-bin.000002 Relay_Log_Pos: 1746 Relay_Master_Log_File: mysql-bin.000004 Slave_IO_Running: Yes Slave_SQL_Running: Yes
- 配置Server2与Server4节点的同步
查看Server4的日志信息：
MariaDB [(none)]> show master status; +------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000001 | 3696 | | | +------------------+----------+--------------+------------------+
在Server2节点， 配置同步信息：
MariaDB [(none)]> reset slave; Query OK, 0 rows affected (0.00 sec) MariaDB [(none)]> change master to master_host='10.10.20.128',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=3696, master_connect_retry=30; MariaDB [(none)]> start slave; Query OK, 0 rows affected (0.00 sec)
5.5 增加KeepAlived服务实现高可用
- 确保新增的Server3和Server4节点安装Keepalived服务。
- 修改Server3节点配置
global_defs { router_id vip3 # 机器标识，一般设为hostname，故障发生时，邮件通知会使用 到。 } vrrp_instance VI_1 { #vrrp实例定义 state BACKUP #lvs的状态模式，MASTER代表主， BACKUP代表备份节点 interface ens33 #绑定对外访问的网卡 virtual_router_id 111 #虚拟路由标示，同一个vrrp实例采用唯一标示 priority 98 #优先级，100代表最大优先级， 数字越大优先级越高 advert_int 1 #master与backup节点同步检查的时间间隔，单位是秒 authentication { #设置验证信息 auth_type PASS #有PASS和AH两种 auth_pass 6666 #验证密码，BACKUP密码须相同 } virtual_ipaddress { #KeepAlived虚拟的IP地址 10.10.20.130 } } virtual_server 10.10.20.130 3306 { #配置虚拟服务器IP与访问端口 delay_loop 6 #健康检查时间 persistence_timeout 0 #会话保持时间，这里要做测试， 所以设为0， 实际可根 据session有效时间配置 protocol TCP #转发协议类型，支持TCP和UDP real_server 10.10.20.127 3306{ #配置服务器节点VIP3 notify_down /usr/local/shell/mariadb.sh weight 1 #设置权重，越大权重越高 TCP_CHECK { #r状态监测设置 connect_timeout 10 #超时配置， 单位秒 retry 3 #重试次数 delay_before_retry 3 #重试间隔 connect_port 3306 #连接端口， 和上面保持一致 } } }
注意里面IP配置正确， 修改完成后重启服务。
创建关闭脚本mariadb.sh
/usr/local/shell/mariadb.sh：
pkill keepalived
加入执行权限：
chmod a+x mariadb.sh
3. 修改Server4节点配置
global_defs { router_id vip4 # 机器标识，一般设为hostname，故障发生时，邮件通知会使用 到。 } vrrp_instance VI_1 { #vrrp实例定义 state BACKUP #lvs的状态模式，MASTER代表主， BACKUP代表备份节点 interface ens33 #绑定对外访问的网卡 virtual_router_id 112 #虚拟路由标示，同一个vrrp实例采用唯一标示 priority 98 #优先级，100代表最大优先级， 数字越大优先级越高 advert_int 1 #master与backup节点同步检查的时间间隔，单位是秒 authentication { #设置验证信息 auth_type PASS #有PASS和AH两种 auth_pass 6666 #验证密码，BACKUP密码须相同 } virtual_ipaddress { #KeepAlived虚拟的IP地址 10.10.20.131 } } virtual_server 10.10.20.131 3306 { #配置虚拟服务器IP与访问端口 delay_loop 6 #健康检查时间 persistence_timeout 0 #会话保持时间，这里要做测试， 所以设为0， 实际可根 据session有效时间配置 protocol TCP #转发协议类型，支持TCP和UDP real_server 10.10.20.128 3306{ #配置服务器节点VIP4 notify_down /usr/local/shell/mariadb.sh weight 1 #设置权重，越大权重越高 TCP_CHECK { #r状态监测设置 connect_timeout 10 #超时配置， 单位秒 retry 3 #重试次数 delay_before_retry 3 #重试间隔 connect_port 3306 #连接端口， 和上面保持一致 } } }
重启服务，创建关闭脚本mariadb.sh
/usr/local/shell/mariadb.sh：
pkill keepalived
加入执行权限：chmod a+x mariadb.sh
4. 修改Server2节点的keepAlived配置:
global_defs { router_id vip2 # 机器标识，一般设为hostname，故障发生时，邮件通知会使用 到。 } vrrp_instance VI_1 { #vrrp实例定义 state BACKUP #lvs的状态模式，MASTER代表主， BACKUP代表备份节点 interface ens33 #绑定对外访问的网卡 virtual_router_id 112 #虚拟路由标示，同一个vrrp实例采用唯一标示 priority 100 #优先级，100代表最大优先级， 数字越大优先级越高 advert_int 1 #master与backup节点同步检查的时间间隔，单位是秒 authentication { #设置验证信息 auth_type PASS #有PASS和AH两种 auth_pass 6666 #验证密码，BACKUP密码须相同 } virtual_ipaddress { #KeepAlived虚拟的IP地址 10.10.20.131 } } virtual_server 10.10.20.131 3306 { #配置虚拟服务器IP与访问端口 delay_loop 6 #健康检查时间 persistence_timeout 0 #会话保持时间，这里要做测试， 所以设为0， 实际可根 据session有效时间配置 protocol TCP #转发协议类型，支持TCP和UDP real_server 10.10.20.126 3306{ #配置服务器节点VIP1 notify_down /usr/local/shell/mariadb.sh weight 1 #设置权重，越大权重越高 TCP_CHECK { #r状态监测设置 connect_timeout 10 #超时配置， 单位秒 retry 3 #重试次数 delay_before_retry 3 #重试间隔 connect_port 3306 #连接端口， 和上面保持一致 } } }
修改完后重启Keepalived服务。
5.6 清理数据并验证
- 通过应用服务动态扩容接口做调整和验证
- 在Server1节点清理数据
- 根据取模规则， 保留accountNo为偶数的数据
delete from t_trade_order where accountNo % 2 != 0 - 在Server2节点清理数据
根据取模规则， 保留accountNo为奇数的数据
delete from t_trade_order where accountNo % 2 != 1
