DRBD+HeartBeat+NFS 搭建高可用文件共享服务器笔记

简介:

环境:

CentOS6.5_x64,两块硬盘,用sdb1作drbd分区(sdb1建立好分区即可,不用格式化和挂载)

masternfs eth0:192.168.140.128  (heartbeat,drbd,nfs服务端)

backupnfs eth0:192.168.140.131  (heartbeat,drbd,nfs服务端)

VIP: 192.168.140.133


客户机:192.168.140.132 (nfs客户端)



一、添加HOSTS记录(主备):

192.168.140.128 masternfs

192.168.140.131 backupnfs



二、安装DRBD(主备):

1、安装epel源:

1
rpm -ivh http: //mirrors .ustc.edu.cn /fedora/epel/6/x86_64/epel-release-6-8 .noarch.rpm


2、安装依赖包:

1
yum  install  -y gcc gcc-c++  make  perl kernel-devel kernel-headers flex drbd84-utils kmod-drbd84


如果报错:Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again

解决方法:编辑[epel]下的baseurl前的#号去掉,mirrorlist前添加#号


3、安装drbd:

1
2
3
4
5
6
7
8
9
10
11
12
13
wget http: //oss .linbit.com /drbd/8 .4 /drbd-8 .4.4. tar .gz
tar  xvf drbd-8.4.4. tar .gz
cd  drbd-8.4.4
. /configure  --prefix= /usr/local/drbd  --with-km
make  KDIR= /usr/src/kernels/ ` uname  -r`/
make  install
mkdir  -p  /usr/local/drbd/var/run/drbd
cp  /usr/local/drbd/etc/rc .d /init .d /drbd   /etc/rc .d /init .d/
chkconfig --add drbd
chkconfig drbd on
cp  drbd /drbd .ko  /lib/modules/ ` uname  -r` /kernel/lib/
modprobe drbd
lsmod |  grep  drbd

如果modprobe drbd报错,可以用 yum install kernel* 方式来更新,需要重启系统,重新安装一次


4、配置DRBD

1
2
cd  /usr/local/drbd/etc/drbd .d
mv  global_common.conf global_common.conf.bak


重新建立global_common.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
global {
         usage-count  yes ;
}
common {
         protocol C;
         disk {
                 on-io-error detach;
         }
         syncer {
                 rate 100M;
         }
}
resource web {
         on masternfs {
                 device  /dev/drbd0 ;
                 disk  /dev/sdb1 ;
                 address 192.168.140.128:7899;
                 meta-disk internal;
         }
         on backupnfs {
                 device  /dev/drbd0 ;
                 disk  /dev/sdb1 ;
                 address 192.168.140.131:7899;
                 meta-disk internal;
         }
}


5、创建DRBD记录信息数据块

1
2
drbdadm create-md web
service drbd start                     #(主备一起启动)


6、设置主备节点:

主:

1
drbdadm -- --overwrite-data-of-peer primary web

备:

1
drbdadm secondary web


7、格式化并挂载分区:

备:

1
2
3
[root@masternfs opt] # mkfs.ext4 /dev/drbd0 
mke2fs 1.41.12 (17-May-2010)
mkfs.ext4: Wrong medium  type  while  trying to determine filesystem size

报错,因为不能在备上操作这块分区


主:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
[root@backupnfs ~] # mkfs.ext4 /dev/drbd0
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS  type : Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
1310720 inodes, 5241029 blocks
262051 blocks (5.00%) reserved  for  the super user
First data block=0
Maximum filesystem blocks=0
160 block  groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks: 
         32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
         4096000
Writing inode tables:  done                            
Creating journal (32768 blocks):  done
Writing superblocks and filesystem accounting information:  done
This filesystem will be automatically checked every 32 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.


8、测试:

主:

1
2
3
4
cd  /data/
mkdir  test    #建立一个文件夹,测试用
umount  /data    #卸载分区
drbdadm secondary web     #把本节点设为备节点

查看状态drbdadm role web,此时是显示两个secondary,然后把另外一个备节点设成主节点,看看刚刚建立的文件夹还在不在


备:

1
2
drbdadm primary web         #设成主节点
mount  /dev/drbd0  /data      #挂载分区

结果,test文件夹还在!


查看资源的连接状态

[root@node1 ~]# drbdadm cstate r1

Connected

资源的连接状态;一个资源可能有以下连接状态中的一种

StandAlone 独立的:网络配置不可用;资源还没有被连接或是被管理断开(使用 drbdadm disconnect 命令),或是由于出现认证失败或是脑裂的情况

Disconnecting 断开:断开只是临时状态,下一个状态是StandAlone独立的

Unconnected 悬空:是尝试连接前的临时状态,可能下一个状态为WFconnection和WFReportParams

Timeout 超时:与对等节点连接超时,也是临时状态,下一个状态为Unconected悬空

BrokerPipe:与对等节点连接丢失,也是临时状态,下一个状态为Unconected悬空

NetworkFailure:与对等节点推动连接后的临时状态,下一个状态为Unconected悬空

ProtocolError:与对等节点推动连接后的临时状态,下一个状态为Unconected悬空

TearDown 拆解:临时状态,对等节点关闭,下一个状态为Unconected悬空

WFConnection:等待和对等节点建立网络连接

WFReportParams:已经建立TCP连接,本节点等待从对等节点传来的第一个网络包

Connected 连接:DRBD已经建立连接,数据镜像现在可用,节点处于正常状态

StartingSyncS:完全同步,有管理员发起的刚刚开始同步,未来可能的状态为SyncSource或PausedSyncS

StartingSyncT:完全同步,有管理员发起的刚刚开始同步,下一状态为WFSyncUUID

WFBitMapS:部分同步刚刚开始,下一步可能的状态为SyncSource或PausedSyncS

WFBitMapT:部分同步刚刚开始,下一步可能的状态为WFSyncUUID

WFSyncUUID:同步即将开始,下一步可能的状态为SyncTarget或PausedSyncT

SyncSource:以本节点为同步源的同步正在进行

SyncTarget:以本节点为同步目标的同步正在进行

PausedSyncS:以本地节点是一个持续同步的源,但是目前同步已经暂停,可能是因为另外一个同步正在进行或是使用命令(drbdadm pause-sync)暂停了同步

PausedSyncT:以本地节点为持续同步的目标,但是目前同步已经暂停,这可以是因为另外一个同步正在进行或是使用命令(drbdadm pause-sync)暂停了同步

VerifyS:以本地节点为验证源的线上设备验证正在执行

VerifyT:以本地节点为验证目标的线上设备验证正在执行

查看资源角色的命令


[root@node1 ~]# drbdadm role r1

Primary/Secondary (在前面为当前节点)

Parimary 主:资源目前为主,并且可能正在被读取或写入,如果不是双主只会出现在两个节点中的其中一个节点上

Secondary 次:资源目前为次,正常接收对等节点的更新

Unknown 未知:资源角色目前未知,本地的资源不会出现这种状态

查看硬盘状态


[root@node1 ~]# drbdadm dstate r1

UpToDate/UpToDate

本地和对等节点的硬盘有可能为下列状态之一:

Diskless 无盘:本地没有块设备分配给DRBD使用,这表示没有可用的设备,或者使用drbdadm命令手工分离或是底层的I/O错误导致自动分离

Attaching:读取无数据时候的瞬间状态

Failed 失败:本地块设备报告I/O错误的下一个状态,其下一个状态为Diskless无盘

Negotiating:在已经连接的DRBD设置进行Attach读取无数据前的瞬间状态

Inconsistent:数据是不一致的,在两个节点上(初始的完全同步前)这种状态出现后立即创建一个新的资源。此外,在同步期间(同步目标)在一个节点上出现这种状态

Outdated:数据资源是一致的,但是已经过时

DUnknown:当对等节点网络连接不可用时出现这种状态

Consistent:一个没有连接的节点数据一致,当建立连接时,它决定数据是UpToDate或是Outdated

UpToDate:一致的最新的数据状态,这个状态为正常状态

查看同步进度


[root@node1 ~]# cat /proc/drbd 或者 执行/usr/local/drbd/sbin/drbd-overview

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@localhost.localdomain, 2016-04-24 20:16:24

0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----

ns:2767088 nr:0 dw:0 dr:2774680 al:0 bm:168 lo:0 pe:1 ua:7 ap:0 ep:1 wo:f oos:18202972

[=>..................] sync'ed: 13.3% (17776/20476)M

finish: 0:12:59 speed: 23,344 (22,492) K/sec

由此可见:进度已经完成了13.3%,传输速度大概22M/S

注:

ds是磁盘状态信息

dw是磁盘写信息

dr是磁盘读信息




三、安装NFS:

1
2
3
4
5
6
7
8
yum -y  install  nfs-utils rpcbind
cat  /etc/exports  << EOF
/data  192.168.140.132 /24 (rw,no_root_squash)   #(IP为客户机的IP)
EOF
service rpcbind start
service nfs start
chkconfig rpcbind on
chkconfig nfs on

四、安装配置Heartbeat

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
yum  install  heartbeat* -y
cd  /usr/share/doc/heartbeat-3 .0.4
cp  ha.cf authkeys haresources  /etc/ha .d/
cd  /etc/ha .d/
cat  > authkeys << EOF
auth 2
2 sha1 HI!
EOF
chmod  600 authkeys
cat  > ha.cf << EOF
logfile  /var/log/ha-log
logfacility local0     #如果未定义上述日志,默认写入/var/log/message
keepalive 2        #心跳间隔
deadtime 30        #死亡阀值
warntime 10        #警告时间
initdead 120       #首次启动heartbeat,等待多久才启动主服务资源
udpport  694       #连接端口
bcast eth0             #使用什么方式组织心跳,最好用ucast方式
auto_failback off      #当主节点故障恢复后,自动获取资源并取代从节点
node masternfs         #主节点主机名
node backupnfs         #备份节点主机名
ping  192.168.140.2
EOF
cat  > haresources << EOF
masternfs IPaddr::192.168.140.133 /24/eth0  drbddisk::web Filesystem:: /dev/drbd0 :: /data ::ext4 killnfsd
EOF
cat  > resource.d /killnfsd  << EOF
killall -9 nfsd ;  /etc/init .d /nfs  restart ;  exit  0
EOF
chmod  +x resource.d /killnfsd
cp  /opt/drbd-8-4 .4 /scripts/drbddisk   /etc/ha .d /resource .d/     #源码包找到drbddisk脚本
chmod  755  /etc/ha .d /resource .d /drbddisk  
service heartbeat start

遇到报错:

heartbeat: udpport setting must precede media statementsheartbeat[2244]: 2016/01/28_17:38:57 ERROR: Bad permissions on keyfile [/etc/ha.d//authkeys], 600 recommended.

heartbeat[2244]: 2016/01/28_17:38:57 ERROR: Authentication configuration error.

heartbeat[2244]: 2016/01/28_17:38:57 ERROR: Configuration error, heartbeat not started.

解决办法:

chmod 600 authkeys


报错:

ResourceManager(default)[2251]: 2016/01/27_23:44:39 ERROR: Cannot locate resource script drbddisk

解决办法:

cd /opt/drbd-8.4.4

cp scripts/drbddisk  /etc/ha.d/resource.d/

chmod 755 /etc/ha.d/resource.d/drbddisk


主备都启动heartbeat后,看看VIP是否能PING通,然后再做一下故障测试看看IP是否会自动迁移,及drbd分区是否会自动挂载,nfs功能是否正常。

美中不足:虽然能自动切换,但是切换时会先造成nfs客户端一小阵子卡住

本文转自运维笔记博客51CTO博客,原文链接http://blog.51cto.com/lihuipeng/1740491如需转载请自行联系原作者


lihuipeng


相关文章
|
5月前
|
存储 运维 Oracle
服务器数据恢复—光纤共享存储互斥出现问题的数据恢复案例
两台SOLARIS系统(SPARC平台)的服务器通过光纤交换机共享同一个存储作为CLUSTER使用。正常情况下只有A服务器工作。如果A服务器发生故障宕机,可将A服务器关机,开启B服务器接管。但由于配置不当导致共享存储互斥出现问题。 管理员进行运维检查时发现B服务器连接了一块未知磁盘。由于B服务器并未启用,处于闲置状态,所以管理员也将这块磁盘当作闲置的,于是在B服务器上将磁盘的某个分区做了newfs。没想到这块磁盘就是那个共享存储,执行操作没有多长时间A服务器就开始报警并宕机。
|
2月前
|
弹性计算 监控 容灾
阿里云ECS提供强大的云上灾备解决方案,通过高可用基础设施、多样的数据备份方式及异地灾备服务,帮助企业实现业务的持续稳定运行
在数字化时代,企业对信息技术的依赖加深,确保业务连续性至关重要。阿里云ECS提供强大的云上灾备解决方案,通过高可用基础设施、多样的数据备份方式及异地灾备服务,帮助企业实现业务的持续稳定运行。无论是小型企业还是大型企业,都能从中受益,确保在面对各种风险时保持业务稳定。
56 4
|
2月前
|
NoSQL 容灾 MongoDB
MongoDB主备副本集方案:两台服务器使用非对称部署的方式实现高可用与容灾备份
在资源受限的情况下,为了实现MongoDB的高可用性,本文探讨了两种在两台服务器上部署MongoDB的方案。方案一是通过主备身份轮换,即一台服务器作为主节点,另一台同时部署备节点和仲裁节点;方案二是利用`priority`设置实现自动主备切换。两者相比,方案二自动化程度更高,适合追求快速故障恢复的场景,而方案一则提供了更多的手动控制选项。文章最后对比了这两种方案与标准三节点副本集的优缺点,指出三节点方案在高可用性和数据一致性方面表现更佳。
128 5
|
3月前
|
存储 Unix 数据挖掘
服务器数据恢复—SAN LUN映射出错导致文件系统共享冲突的数据恢复案例
服务器数据恢复环境: SAN光纤网络环境,存储由一组6块硬盘组建的RAID6阵列构成,划分为若干LUN,MAP到跑不同业务的SUN SOLARIS操作系统服务器上。 服务器故障&分析: 因为业务需要,用户在该光纤存储环境中新增一台SUN SOLARIS操作系统服务器。将存储中的某个LUN映射到新增的服务器上,但是映射的这个卷之前已经MAP到SOLARIS生产系统上的某个LUN上了。因为未及时察觉这个问题,新增服务器已经对该LUN进行部分初始化操作。 在SOLARIS操作系统层面磁盘报错,重启后卷无法挂载。联系SUN工程师检测后,执行了fsck操作。操作完成后虽然文件系统可以挂上,但是发现大量
|
4月前
|
存储 Unix 数据挖掘
服务器数据恢复—SAN环境下LUN Mapping出错导致文件系统共享冲突的数据恢复案例
服务器数据恢复环境: SAN环境下一台存储设备中有一组由6块硬盘组建的RAID6磁盘阵列,划分若干LUN,MAP到不同业务的SOLARIS操作系统服务器上。 服务器故障: 用户新增了一台服务器,将存储中的某个LUN映射到新增加的这台服务器上。这个映射的LUN其实之前已经MAP到其他SOLARIS操作系统的服务器上了。由于没有及时发现问题,新增加的这台服务器已经对此LUN做了初始化操作,磁盘报错,重启后发现卷无法挂载。
|
5月前
|
运维 Ubuntu 安全
在Linux中,如何配置NFS共享?
在Linux中,如何配置NFS共享?
|
5月前
|
存储 Ubuntu Linux
NFS服务部署全攻略:从零到一,轻松驾驭网络文件系统,让你的文件共享像飞一样畅快无阻!
【8月更文挑战第5天】NFS(网络文件系统)能让网络中的电脑无缝共享文件与目录。基于客户端-服务器模式,用户可像访问本地文件般透明操作远程文件。部署前需准备至少两台Linux机器:一台服务器,其余作客户端;确保已装NFS相关软件包且网络通畅。服务器端安装NFS服务与rpcbind,客户端安装nfs-utils。
181 4
|
5月前
|
Ubuntu Linux 网络安全
在Linux中,如何配置Samba或NFS文件共享?
在Linux中,如何配置Samba或NFS文件共享?
|
5月前
|
Linux
在Linux中,如何挂载远程NFS共享或iSCSI目标?
在Linux中,如何挂载远程NFS共享或iSCSI目标?
|
6月前
|
Java Scala C++
云计算存储问题之中心NFS服务器如何解决
云计算存储问题之中心NFS服务器如何解决