《高性能Linux服务器构建实战:系统安全、故障排查、自动化运维与集群架构》——3.3 DRBD的管理与维护

简介:

本节书摘来自华章计算机《高性能Linux服务器构建实战:系统安全、故障排查、自动化运维与集群架构》一书中的第3章,第3.3节,作者:高俊峰著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.3 DRBD的管理与维护

3.3.1 启动DRDB
1 . 在两个节点执行
在启动DRBD之前,需要分别在两台主机的hdb1分区上创建供DRBD记录信息的数据块。具体是分别在两台主机上执行:

[root@master-drbd ~]# drbdadm create-md r0 或者执行drbdadm create-md all
[root@master-drbd ~]# drbdadm create-md r0

2 . 在两个节点启动服务
接着在两个drbd节点启动DRBD服务,操作如下:

[root@master-drbd ~]# /etc/init.d/drbd start
[root@slave-drbd  ~]# /etc/init.d/drbd start

最好是在两个节点同时启动DRBD服务。
3 . 在任意节点查看节点状态
登录任意drbd节点,然后执行“cat /proc/drbd”命令,输出结果如下:

[root@master-drbd ~]# cat /proc/drbd
0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r----
 ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:2007644

对输出的含义解释如下:
ro表示角色信息,第一次启动drbd时,两个drbd节点默认都处于Secondary状态。
ds表示磁盘状态信息,“Inconsistent/Inconsistent”即“不一致/不一致”状态,表示两个节点的磁盘数据处于不一致状态。
ns表示网络发送的数据包信息。
dw表示磁盘写信息。
dr表示磁盘读信息。
4 . 设置主用节点
由于默认没有主用节点和备用节点之分,因此需要设置两个主机的主次节点。选择需要设置为主用节点的主机,然后执行如下命令:

[root@master-drbd ~]# drbdsetup /dev/drbd0 primary -o

也可以执行下面命令:

[root@master-drbd ~]# drbdadm -- --overwrite-data-of-peer primary all

第一次执行完此命令后,如果需要设置哪个是主用节点,就可以使用另外一个命令:

[root@master-drbd ~]# /sbin/drbdadm primary r0或者/sbin/drbdadm primary all

执行此命令后,开始同步两台机器对应磁盘的数据:

[root@master-drbd ~]# cat /proc/drbd
version: 8.3.13 (api:88/proto:86-96)
0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
  ns:338640 nr:0 dw:0 dr:346752 al:0 bm:20 lo:1 pe:7 ua:64 ap:0 ep:1wo:b oos:10144232
        [>....................] sync'ed:  3.3% (9904/10236)M
        finish: 0:46:26 speed: 3,632 (3,184) K/sec

从输出可知:
“ro”状态现在变为“Primary/Secondary”,“ds”状态也变为“UpToDate/Inconsistent”,也就是“实时/不一致”状态。现在数据正在主备两台主机的磁盘间进行同步,且同步进度为3.3%,同步速度3.1Mbit/s左右。
等待片刻,再次查看同步状态,输出如下:

[root@master-drbd ~]# cat /proc/drbd
version: 8.3.13 (api:88/proto:86-96)
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
  ns:10482024 nr:0 dw:0 dr:10482024 al:0 bm:640 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

可以看到同步完成了,并且“ds”状态也变为“UpToDate/UpToDate”,即“实时/实时”状态了。
如果第一次设置主用节点和备用节点时使用“/sbin/drbdadm primary r0”命令,那么会提示如下错误:

0: State change failed: (-2) Need access to UpToDate data
Command '/sbin/drbdsetup 0 primary' terminated with exit code 17

只要第一次执行上面命令成功,以后就可以用“/sbin/drbdadm primary r0”命令设置主用节点了。
5 . 挂载DRBD设备
由于mount操作只能在主用节点上进行,因此只有设置了主用节点后才能格式化磁盘分区,同时,在两个节点中,同一时刻只能有一台处于primary状态,另一台处于secondary状态,而处于secondary状态的节点上不能挂载DRBD设备,要在备用节点上挂载DRBD设备,必须停止备用节点的DRBD服务或将备用节点角色升级为主用节点。
下面首先将DRBD设备格式化为ext3文件系统,然后在主用节点挂载,操作如下:

[root@master-drbd ~]# mkfs.ext3 /dev/drbd0
[root@master-drbd ~]# mount /dev/drbd0 /mnt

完成挂载后,就可以在/mnt目录下写数据了,此目录下的数据会自动同步到备用节点上。
3.3.2 测试DRBD数据镜像
为了验证DRBD的数据镜像功能,我们做一个简单的测试,首先在DRBD主用节点上的/mnt目录下创建一个200MB的文件,操作如下:

[root@master-drbd ~]# dd if=/dev/zero of=/mnt/testdrbd.tmp bs=10M count=20
[root@master-drbd ~]# ls –al    /mnt/testdrbd.tmp
-rw-r--r-- 1 root root 209715200 Mar 17 14:03 testdrbd.tmp

完成操作后,接着在备机上查看文件是否已经同步过去,为了保证数据的一致性,需要首先停止备用节点的DRBD服务,操作如下:

[root@slave-drbd /]# /etc/init.d/drbd  stop
Stopping all DRBD resources: .
[root@slave-drbd /]# mount /dev/sdb1  /mnt
[root@slave-drbd /]# df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                      75226176  15156412  56186756  22% /
/dev/sda1               101086     19526     76341  21% /boot
tmpfs                  2025204         0   2025204   0% /dev/shm
/dev/sdb1             10317472    359240   9434132   4% /mnt
[root@slave-drbd /]# cd /mnt
[root@slave-drbdmnt]# ll
total 205020
drwx------ 2 root root     16384 Mar 17 13:58 lost+found
-rw-r--r-- 1 root root 209715200 Mar 17 14:03 testdrbd.tmp

可以看到,在主用节点master-drbd上产生的文件testdrbd.tmp也完整地保存到备用节点slave-drbd的镜像磁盘设备上。
测试完毕后,要重新启动备用节点的DRBD服务,此时必须先卸载/dev/sdb1设备,然后才能成功启动DRBD服务。
 这里挂载的是/dev/sdb1设备,而不是DRBD设备,因为DRBD设备只有在DRBD服务启动的时候才加载到系统中。
3.3.3 DRBD主备节点切换
在系统维护的时候,或者在高可用集群中,当主用节点出现故障时,就需要将主备节点的角色互换。主备节点切换有两种方式,分别是停止DRBD服务切换和正常切换,下面依次介绍。
1 . 停止DRBD服务切换
关闭主用节点服务,此时挂载的DRBD分区就自动在主用节点卸载了,操作如下:

[root@master-drbd /]# /etc/init.d/drbd  stop
Stopping all DRBD resources:

然后查看备用节点的DRBD状态:

[root@slave-drbd /]# cat /proc/drbd 
version: 8.3.13 (api:88/proto:86-96)
0: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----
  ns:0 nr:16 dw:16 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

从输出可以看到,现在主用节点的状态变为“Unknown”,接着在备用节点执行切换命令:

[root@slave-drbd  ~]# drbdadm primary all

此时会出现如下报错信息:

2: State change failed: (-7) Refusing to be Primary while peer is not outdated
Command 'drbdsetup 2 primary' terminated with exit code 11

因此,必须在备用节点执行如下命令:

[root@slave-drbd  ~]# drbdsetup /dev/drbd0 primary -o

或者

[root@slave-drbd ~]# drbdadm -- --overwrite-data-of-peer primary all

现在就可以正常切换了。接着查看此节点的状态,信息如下:

[root@slave-drbd /]# cat /proc/drbd 
version: 8.3.13 (api:88/proto:86-96)
0: cs:WFConnection ro:Primary/Unknown ds:UpToDate/Outdated C r-----
 ns:0 nr:16 dw:16 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

可以看出,原来的备用节点已经处于“Primary”状态了,而原来的主用节点由于DRBD服务未启动,还处于“Unknown”状态,在原来的主用节点服务启动后,会自动变为“Secondary”状态,无需在原来主用节点上再次执行切换到备用节点的命令。
最后,在新的主用节点上挂载DRBD设备即可完成主备节点的切换:

[root@slave-drbd /]# mount /dev/drbd0 /mnt

2 . 正常切换
首先在主用节点卸载磁盘分区:

[root@ master-drbd /]# umount /mnt

然后执行:

[root@master-drbd ~]# drbdadm secondary all

如果不执行这个命令,直接在备用节点执行切换到主用节点的命令,会报如下错误:

2: State change failed: (-1) Multiple primaries not allowed by confi
Command 'drbdsetup 2 primary' terminated with exit code 11

此时查看master-drbd节点的DRBD状态,信息如下:

[root@master-drbd ~]# cat /proc/drbd 
version: 8.3.13 (api:88/proto:86-96)
0: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r-----
  ns:36 nr:16 dw:52 dr:97 al:2 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

可以看到,两个节点都处于“Secondary”状态了,那么接下来就要指定一个主用节点,在备用节点执行如下命令:

[root@slave-drbd ~]# drbdadm primary all
[root@slave-drbd ~]# cat /proc/drbd 
version: 8.3.13 (api:88/proto:86-96)
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
 ns:0 nr:36 dw:36 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

至此,主备节点成功切换角色。最后在新的主用节点挂载DRBD磁盘分区即可:

[root@slave-drbd ~]# mount /dev/drbd0 /mnt
相关文章
|
3月前
|
监控 网络协议 Nacos
Nacos:构建微服务架构的基石
Nacos:构建微服务架构的基石
174 2
|
2月前
|
监控 安全 API
使用PaliGemma2构建多模态目标检测系统:从架构设计到性能优化的技术实践指南
本文详细介绍了PaliGemma2模型的微调流程及其在目标检测任务中的应用。PaliGemma2通过整合SigLIP-So400m视觉编码器与Gemma 2系列语言模型,实现了多模态数据的高效处理。文章涵盖了开发环境构建、数据集预处理、模型初始化与配置、数据加载系统实现、模型微调、推理与评估系统以及性能分析与优化策略等内容。特别强调了计算资源优化、训练过程监控和自动化优化流程的重要性,为机器学习工程师和研究人员提供了系统化的技术方案。
201 77
使用PaliGemma2构建多模态目标检测系统:从架构设计到性能优化的技术实践指南
|
4天前
|
存储 人工智能 并行计算
2025年阿里云弹性裸金属服务器架构解析与资源配置方案
🚀 核心特性与技术创新:提供100%物理机性能输出,支持NVIDIA A100/V100 GPU直通,无虚拟化层损耗。网络与存储优化,400万PPS吞吐量,ESSD云盘IOPS达100万,RDMA延迟<5μs。全球部署覆盖华北、华东、华南及海外节点,支持跨地域负载均衡。典型应用场景包括AI训练、科学计算等,支持分布式训练和并行计算框架。弹性裸金属服务器+OSS存储+高速网络综合部署,满足高性能计算需求。
|
1月前
|
存储 消息中间件 前端开发
工厂人员定位管理系统架构设计:构建一个高效、可扩展的人员精确定位
本文将深入探讨工厂人员定位管理系统的架构设计,详细解析前端展示层、后端服务层、数据库设计、通信协议选择等关键环节,并探讨如何通过微服务架构实现系统的可扩展性和稳定性。
62 10
|
1月前
|
机器学习/深度学习 弹性计算 人工智能
阿里云服务器ECS架构区别及选择参考:X86计算、ARM计算等架构介绍
在我们选购阿里云服务器的时候,云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选,有的用户并不清楚他们之间有何区别,本文主要简单介绍下这些架构各自的主要性能及适用场景,以便大家了解不同类型的架构有何不同,主要特点及适用场景有哪些。
141 10
|
1月前
|
存储 人工智能 运维
面向AI的服务器计算软硬件架构实践和创新
阿里云在新一代通用计算服务器设计中,针对处理器核心数迅速增长(2024年超100核)、超多核心带来的业务和硬件挑战、网络IO与CPU性能增速不匹配、服务器物理机型复杂等问题,推出了磐久F系列通用计算服务器。该系列服务器采用单路设计减少爆炸半径,优化散热支持600瓦TDP,并实现CIPU节点比例灵活配比及部件模块化可插拔设计,提升运维效率和客户响应速度。此外,还介绍了面向AI的服务器架构挑战与软硬件结合创新,包括内存墙问题、板级工程能力挑战以及AI Infra 2.0服务器的开放架构特点。最后,探讨了大模型高效推理中的显存优化和量化压缩技术,旨在降低部署成本并提高系统效率。
|
2月前
|
Prometheus 运维 监控
Prometheus+Grafana+NodeExporter:构建出色的Linux监控解决方案,让你的运维更轻松
本文介绍如何使用 Prometheus + Grafana + Node Exporter 搭建 Linux 主机监控系统。Prometheus 负责收集和存储指标数据,Grafana 用于可视化展示,Node Exporter 则采集主机的性能数据。通过 Docker 容器化部署,简化安装配置过程。完成安装后,配置 Prometheus 抓取节点数据,并在 Grafana 中添加数据源及导入仪表盘模板,实现对 Linux 主机的全面监控。整个过程简单易行,帮助运维人员轻松掌握系统状态。
286 3
|
2月前
|
Serverless 决策智能 UED
构建全天候自动化智能导购助手:从部署者的视角审视Multi-Agent架构解决方案
在构建基于多代理系统(Multi-Agent System, MAS)的智能导购助手过程中,作为部署者,我体验到了从初步接触到深入理解再到实际应用的一系列步骤。整个部署过程得到了充分的引导和支持,文档详尽全面,使得部署顺利完成,未遇到明显的报错或异常情况。尽管初次尝试时对某些复杂配置环节需反复确认,但整体流程顺畅。
|
2月前
|
缓存 Kubernetes 容灾
如何基于服务网格构建高可用架构
分享如何利用服务网格构建更强更全面的高可用架构
|
3月前
|
弹性计算 持续交付 API
构建高效后端服务:微服务架构的深度解析与实践
在当今快速发展的软件行业中,构建高效、可扩展且易于维护的后端服务是每个技术团队的追求。本文将深入探讨微服务架构的核心概念、设计原则及其在实际项目中的应用,通过具体案例分析,展示如何利用微服务架构解决传统单体应用面临的挑战,提升系统的灵活性和响应速度。我们将从微服务的拆分策略、通信机制、服务发现、配置管理、以及持续集成/持续部署(CI/CD)等方面进行全面剖析,旨在为读者提供一套实用的微服务实施指南。