Heartbeat为我们提供了廉价的、可伸缩的高可用集群方案。我们通过heartbeat+drbd+nfs在Linux下创建一个高可用(HA)的集群服务器。
DRBD是一种块设备，可以被用于高可用(HA)之中。它类似于一个网络RAID-1功能。当你将数据写入本地文件系统时，数据还将会被发送到网络中另一台主机上。以相同的形式记录在一个文件系统中。本地(主节点)与远程主机(备节点)的数据可以保证实时同步。当本地系统出现故障时，远程主机上还会保留有一份相同的数
拓扑图:
一． 安装前准备
实现高可用性群集,两个节点配置文件需要保持一致
1.修改hosts文件
[root@node1 ~]# vim /etc/hosts
添加 192.168.2.10 node1.a.com node1
192.168.2.20 node2.a.com node2
2.修改network文件
[root@node1 ~]# hostname node1.a.com
[root@node1 ~]# vim /etc/sysconfig/network
更改 HOSTNAME=node1.a.com
3.配置yum源
[root@node1 ~]# hwclock -s //同步时间
[root@node1 ~]# mkdir /mnt/cdrom
[root@node1 ~]# mount /dev/cdrom /mnt/cdrom
[root@node1 ~]# vim /etc/yum.repos.d/rhel-debuginfo.repo
[rhel-server]
name=Red Hat Enterprise Linux server
baseurl=file:///mnt/cdrom/Server
enabled=1
gpgcheck=0
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
[rhel-cluster]
name=Red Hat Enterprise Linux cluster
baseurl=file:///mnt/cdrom/Cluster
enabled=1
gpgcheck=0
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
node1与node2 的配置同样。
[root@node1 ~]# scp /etc/yum.repos.d/rhel-debuginfo.repo node2.a.com:/etc/yum.repos.d/
二.安装drbd主文件
软件:
kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
drbd83-8.3.8-1.el5.centos.i386.rp
1.安装DRBD软件
[root@drbd1 ~]# rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm //主文件安装
[root@drbd1 ~]# rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm //内核文件安装
2.加载内核
[root@drbd1 ~]# modprobe drbd
3.配置主文件
root@drbd1 ~]# vim /etc/drbd.conf 在末行模式下输入如下命令
:r /usr/share/doc/drbd83-8.3.8/drbd.conf
# You can find an example in /usr/share/doc/drbd.../drbd.conf.example
include "drbd.d/global_common.conf";
include "drbd.d/*.res";
# please have a a look at the example configuration file in
# /usr/share/doc/drbd83/drbd.conf
#
4.创建一个共享空间
[root@node1 ha.d]# fdisk /dev/sda
n------->p-------->4--->+1G------>w
[root@node1 ha.d]# partprobe /dev/sda
5.配置全局文件
[root@drbd1 ~]# cd /etc/drbd.d
[root@drbd1 drbd.d]# cp global_common.conf global_common.conf.bak //备份文件
[root@drbd1 drbd.d]# vim global_common.conf 修改如下
global {
usage-count no; //取消DRBD使用者统计
# minor-count dialog-refresh disable-ip-verification
}
common {
protocol C; //使用协议C
startup {
wfc-timeout 120; //启动延迟
degr-wfc-timeout 120;
}
disk { //fence防脑裂
on-io-error detach;
fencing resource-only;
}
net {
cram-hmac-alg "sha1"; //主备节点使用的通信算法
shared-secret "mydrbdlab";
}
syncer {
rate 100M; //主备节点同步速率
}
}
6.定义资源
[root@drbd1 ~]# vim web.res
resource web { (资源名称)
on node1.a.com { (节点名)
device /dev/drbd0; (虚拟设备名称)
disk /dev/sda4; (真实设备名)
address 192.168.2.10:7789; (监听自身的IP的地址端口)
meta-disk internal;
}
on node2.a.com {
device /dev/drbd0;
disk /dev/sda4;
address 192.168.2.20:7789;
meta-disk internal;
}
}
7.node2也需要进行同样的配置,配置与node1配置是一样的
在node1 与node2上初始化资源web
[root@drbd1 ~]# drbdadm create-md web
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.
[root@drbd2 ~]# drbdadm create-md web
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.
8.启动drbd服务
注意两个节点要一起启动，否则在启动时会处于一直等待状态
[root@drbd1 ~]# service drbd start
[root@drbd2 ~]# service drbd start
9.查看节点状态
在节点一上查看
[root@drbd1 ~]# drbd-overview
0:web Connected Secondary/Secondary Inconsistent/Inconsistent C r----
在节点二上查看
[root@drbd2 ~]# drbd-overview
0:web Connected Secondary/Secondary Inconsistent/Inconsistent C r----
web:资源名
Secondary/Secondary:自身状态/另外节点状态
由上面的两个节点的状态可看到，两个节点都是备用节点，我们需要手动调整
10.将drbd1.a.com调整为主节点
[root@drbd1 ~]# drbdadm -- --overwrite-data-of-peer primary web
11.再次查看状态
节点一
[root@drbd1 ~]# drbd-overview
0:web Connected Primary/Secondary UpToDate/UpToDate C r----
节点二
[root@drbd2 ~]# drbd-overview
0:web Connected Secondary/Primary UpToDate/UpToDate C r----
可以看出drbd1.a.com已经成为主节点了
12.在主节点上创建文件系统
[root@drbd1 ~]# mkfs.ext3 -L drbdweb /dev/drbd0 L：卷名
13.测试
1> 在主节点上创建挂载点，挂载后，写入一个文件
[root@drbd1 ~]# mkdir /mnt/drbd
[root@drbd1 ~]# mount /dev/drbd0 /mnt/drbd
[root@drbd1 ~]# cd /mnt/drbd
[root@drbd1 drbd]# touch index.html
[root@drbd1 drbd]# ll
total 16
-rw-r--r-- 1 root root 0 Jan 20 18:09 index.html
drwx------ 2 root root 16384 Jan 20 18:07 lost+found
[root@drbd1 drbd]#
2> 将drbd1.a.com配置成从节点，将drbd2.a.com配置成主节点
节点一
[root@drbd1 drbd]# cd
[root@drbd1 ~]#
[root@drbd1 ~]# umount /mnt/drbd
[root@drbd1 ~]# drbdadm secondary web
[root@drbd1 ~]# drbdadm role web
Secondary/Primary
[root@drbd1 ~]#
节点二
[root@drbd2 ~]# drbdadm primary web
[root@drbd2 ~]# drbd-overview
0:web Connected Primary/Secondary UpToDate/UpToDate C r----
3> 在节点二挂载，查看是否有内容
[root@drbd2 ~]# mkdir /mnt/drbd
[root@drbd2 ~]# mount /dev/drbd0 /mnt/drbd
[root@drbd2 ~]# ll /mnt/drbd/
total 16
-rw-r--r-- 1 root root 0 Jan 20 18:09 index.html //可以看到已经写入成功
drwx------ 2 root root 16384 Jan 20 18:07 lost+found
三.安装heartbeat文件
软件环境
heartbeat-2.1.4-9.el5.i386.rpm
heartbeat-devel-2.1.4-9.el5.i386.rpm
heartbeat-gui-2.1.4-9.el5.i386.rpm
heartbeat-pils-2.1.4-10.el5.i386.rpm
heartbeat-stonith-2.1.4-10.el5.i386.rpm
libnet-1.1.4-3.el5.i386.rpm
perl-MailTools-1.77-1.el5.noarch.rpm
1.安装heartbeat主文件
[root@node1 ~]# cd heartbeat/
[root@node1 heartbeat]# yum localinstall * --nogpgcheck
[root@node1 ~]# cd /usr/share/doc/heartbeat-2.1.4/
[root@node1 heartbeat-2.1.4]# cp authkeys haresources ha.cf /etc/ha.d/
[root@node1 heartbeat-2.1.4]# vim ha.cf
# 日志
#logfile /var/log/ha-log
#logfacility local0
# 心跳监测时间
#keepalive 2
# 死亡时间
#deadtime 5
# 服务器正常后由主服务器接管资源，另一台服务器放弃该资源
auto_failback off
94 bcast eth1 //产生广播监听eth1
213 node node1.a.com //定义节点
214 node node2.a.com
2.验证使用md5 认证密文
[root@node1 ~]# echo "123" | openssl md5
ba1f2511fc30423bdbb183fe33f3dd0f
[root@node1 heartbeat-2.1.4]# vim authkeys
auth 3
3 md5 ba1f2511fc30423bdbb183fe33f3dd0f
[root@node1 ha.d]# chmod 600 authkeys //修改权限
修改资源文件/etc/ha.d/haresources，定义HA群集的资源
[root@node1 ha.d]# vim haresources
45 node1.a.com IPaddr::192.168.2.100/24/eth0 drbddisk::web Filesystem::/dev/drbd0::/mnt/drbd::ext3 killnfsd
注：该文件内IPaddr,Filesystem等脚本存放路径在/etc/ha.d/resource.d/下,也可在该目录下存放服务启动脚本（例如：mysql,www）,将相同脚本名称添加到/etc/ha.d/haresources内容中，从而跟随heartbeat启动而启动该脚本。
IPaddr::192.168.2.100/24/eth0：用IPaddr脚本配置浮动VIP
drbddisk::r0：用drbddisk脚本实现DRBD主从节点资源组的挂载和卸载
Filesystem::/dev/drbd0::/mnt/drbd::ext3：用Filesystem脚本实现磁盘挂载和卸载
3.手工创建文件killnfsd
编辑脚本文件killnfsd,用来重启NFS服务：
注：因为NFS服务切换后，必须重新mount NFS共享出来的目录，否则会报错（待验证）
[root@node2 ha.d]# vim resource.d/killnfsd
添加:killall -9 nfsd;
/ etc/init.d/nfs restart;
exit 0
[root@drbd1 ha.d]# chmod 755 resource.d/killnfsd
四.配置NFS服务共享
1.编写共享
[root@node1 ~]# vim /etc/exports
/mnt/drbd 192.168.2.0/24(rw,sync)
2. 导出共享清单
[root@drbd1 ha.d]# exportfs -rv
exporting 192.168.2.10/24:/mnt/drbd
3. 修改nfs启动脚本
[root@drbd1 ha.d]# vim /etc/init.d/nfs //修改如下
122 killproc nfsd -9
Node2节点于node1配置基本一样需要做同node1一样的操作
4.启动node1.a.com节点的heartbeat的服务：
# service heartbeat start
启动node2.a.com节点的heartbeat的服务：
# service heartbeat start
5.查看heartbeat两节点的状态：
[root@node1 ~]# drbd-overview
五．测试：
1. 开启一个客户端：
配置一个临时地址： # ifconfig eth0 192.168.2.16
创建一个挂载点：
# mkdir /mnt/nfs # mount 192.168.2.100:/mnt/drbd /mnt/nfs
查看状态
mount
2 当heartbeat正常运行时： 查看NFS网络文件系统：
[root@clent ~]# cd /mnt/nfs
[root@clent nfs]# ll
总计 16
-rw-r--r-- 1 root root 0 10-27 16:14 index.html
drwx------ 2 root root 16384 10-27 16:12 lost+found
3.在node1.a.com中将heartbeat服务关闭：
[root@node1 ~]# service heartbeat stop
[root@node2 ~]# drbd-overview
0:web Connected Primary/Secondary UpToDate/UpToDate C r---- /mnt/drbd ext3 950M 18M 885M 2%
通过上述案例可以实现高可用性，以及通过heartbeart控制DRDB的自动切换，而且保证文件系统的高可用性。
