如果主服务器宕机，造成的损失是不可估量的。要保证主服务器不间断服务，就需要对服务器实现冗余。在众多的实现服务器冗余的解决方案中，heartbeat为我们提供了廉价的、可伸缩的高可用集群方案。我们通过heartbeat+drbd在Linux下创建一个高可用(HA)的集群服务器。
DRBD是一种块设备，可以被用于高可用(HA)之中。它类似于一个网络RAID-1功能。当你将数据写入本地文件系统时，数据还将会被发送到网络中另一台主机上。以相同的形式记录在一个文件系统中。本地(主节点)与远程主机(备节点)的数据可以保证实时同步。当本地系统出现故障时，远程主机上还会保留有一份相同的数据，可以继续使用。在高可用(HA)中使用DRBD功能，可以代替使用一个共享盘阵。因为数据同时存在于本地主机和远程主机上。切换时，远程主机只要使用它上面的那份备份数据，就可以继续进行服务了。
如果编译顺利可以看到Module build was successful.
[root@manager drbd-8.2.1]# make install
现在两台主机都是备机状态，都是”不一致”状态，这是由于DRBD无法判断哪一方为主机，以哪一方的磁盘数据作为标准数据。所以我们需要初始化，在manager上执行：
现在终于大功告成了，之前在不使用drbd的情况下，heartbeat也可以切换apache、dhcpd、portmap、nfs等等服务，但是 nfs服务切换后，必须重新mount一下nfs共享出来的目录，否则会报 Stale NFS file handle 的错误。现在heartbeat+drbd配合使用后，nfs等等服务可以无缝切换，不必再重新mount一下nfs目录了
lvs+heard负载均衡文档(DR)
blog：http://blog.vfocus.net
测试环境：
硬件 两台dell1950 （单硬盘）
系统 FC7
软件 ipvsadm-1.24 heartbeat-2.1.2
说明 一台172.16.3.75 (lvsdr)作为主director服务器
172.16.3.73 (lvsdrbak)作为热备director服务器
虚拟ip为172.16.3.76
采用基于DR的模式进行负载均衡
算法采用的是轮叫调度（Round-Robin Scheduling） 即ipvsadm –rr模式
注1:(本次测试为节约机器，将备份节点也作为一台realserver)
注2：算法模式一共有7种分别是
加权轮叫调度（Weighted Round-Robin Scheduling）
最小连接调度（Least-Connection Scheduling）
加权最小连接调度（Weighted Least-Connection Scheduling）
基于局部性的最少链接（Locality-Based Least Connections Scheduling）
带复制的基于局部性最少链接（Locality-Based Least Connections with Replication Scheduling）
目标地址散列调度（Destination Hashing Scheduling）
源地址散列调度（Source Hashing Scheduling）
只需要改变ipvsadm后面的参数
ipvsadm -rr 论叫调度
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq
一，配置基于隧道（DR）模式的LVS集群
所需软件 ipvsadm-1.24 http://www.linuxvirtualserver.org/software/
需要建立一个软链接把内核指向/usr/src/linux
ln -s /usr/src/kernels/2.6.9-42.EL-i686/ /usr/src/linux
tar zxvf ipvsadm-1.24.tar.gz
cd ipvsadm-1.2.4
make;make install
1）在lvsdr上部署（备份节点做完全一样的部署）
$ vi /etc/rc.d/init.d/lvsDR
#!/bin/bash
VIP=172.16.3.76
RIP1=172.16.3.73
RIP2=172.16.3.235
. /etc/rc.d/init.d/functions
case "$1" in
start)
echo "start LVS of DirectorServer"
#Set the Virtual IP Address
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:0
#Clear IPVS Table
/sbin/ipvsadm -C
#Set Lvs
/sbin/ipvsadm -A -t $VIP:80 -s rr
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
#Run Lvs
/sbin/ipvsadm
#end
;;
stop)
echo "close LVS Directorserver"
/sbin/ipvsadm -C
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
2）在realserver上部署
$ vi /etc/rc.d/init.d/realserverDR
#!/bin/sh
VIP=172.16.3.76
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
~
二，安装heartbeat
所需软件
e2fsprogs-1.40.4.cfs1-0redhat.i386.rpm 光盘中有
libnet http://www.packetfactory.net/libnet
heartbeat-2.1.2.tar.gz http://linux-ha.org/download/
安装软件
安装e2fsprogs
rpm -ivh e2fsprogs-1.35-7.1.i386.rpm
安装libnet
tar zxvf libnet.tar.gz
cd libnet
./configure
make;make install
安装heartbeat
tar zxvf heartbeat-2.0.2.tar.gz
cd heartbeat-2.0.2
./Configureme configure
make;make install
cp doc/ha.cf doc/haresources doc/authkeys /etc/ha.d/
cp ldirectord/ldirectord.cf /etc/ha.d/
groupadd -g 694 haclient
useradd -u 694 -g haclient hacluster
修改配置
重点三个配置文件
ha.cf haresources authkeys
1， ha.cf
[root@lvsdrbak src]# awk '/^[^$]/&&/^[^#]/' /etc/ha.d/ha.cf
debugfile /var/log/ha-debug
logfile /var/log/ha-log
logfacility local0
keepalive 2
deadtime 30
warntime 10
initdead 120
udpport 694
bcast eth0 # Linux
auto_failback on
node lvsdr
node lvsdrbak
hopfudge 1
2， haresources
这个文件其实就只有一行
lvsdr IPaddr::172.16.3.76 ldirectord lvsDR
3， authkeys
auth 1
1 sha1 key-for-sha1-any-text-you-want
chmod -R 600 autykeys 权限必须是600
以上三个文件 主从服务器上一致
修改hosts
$ vi /etc/hosts
127.0.0.1 localhost.localdomain localhost
172.16.3.75 lvsdr
10.1.1.3 HA01
10.1.1.2 HA02
172.16.3.73 lvsdrbak
其中10.1.1.3与10.1.1.2是在eth0上绑的另外ip作为检测heartbeat用
三，配置ldirectord
Ldirectord的作用是监测Real Server，当Real Server失效时，把它从Load Balancer列表中删除，恢复时重新添加，在安装heartbeat时已经安装了Ldirectord。
但是在fc7中启动ldirectord会报缺少Mail/Send.pm或者LWP/useragant模块，需要安装perl模块
所需模块
lwp/useagant http://search.cpan.org/CPAN/authors/id/G/GA/GAAS/libwww-perl-5.808.tar.gz
mailsend http://search.cpan.org/CPAN/authors/id/M/MA/MARKOV/MailTools-2.02.tar.gz
生成makefile：
perl Makefile.PL
建立模块
make
测试模块
make test
如果测试结果报告“all test ok”，您就可以放心地安装编译好的模块了。安装模块前，先要
make install
配置 ldirectord 配置文件在/etc/ha.d/ldirectord.cf
[root@lvsdr lvs]# awk '/^[^$]/&&/^[^#]/' /etc/ha.d/ldirectord.cf
checktimeout=3
checkinterval=1
autoreload=yes
logfile="/var/log/ldirectord.log"
quiescent=yes
virtual=172.16.3.76:80
real=172.16.3.73:80 gate
real=172.16.3.235:80 gate
service=http
request="test.html"
receive="Test Page"
scheduler=rr
protocol=tcp
#checktype=negotiate
#checkport=80
#request="index.html"
#receive="Test Page"
#virtualhost=www.x.y.z测试 ldirectord是否可以起来
现在可以在主节点172.16.3.75启动heartbeat
/etc/init.d/heartbeat start
起来正常的结果应该是这样
[root@lvsdr src]# netstat -npl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 :::22 :::* LISTEN 2095/sshd
udp 0 0 0.0.0.0:32784 0.0.0.0:* 28530/heartbeat: wr
udp 0 0 0.0.0.0:694 0.0.0.0:* 28530/heartbeat: wr
[root@lvsdr src]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:15:C5:EF:E0:D9
inet addr:172.16.3.75 Bcast:172.16.3.255 Mask:255.255.255.0
inet6 addr: fe80::215:c5ff:feef:e0d9/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:58138 errors:0 dropped:0 overruns:0 frame:0
TX packets:17891 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:8955674 (8.5 MiB) TX bytes:3217775 (3.0 MiB)
Interrupt:16 Memory:f8000000-f8012100
eth0:0 Link encap:Ethernet HWaddr 00:15:C5:EF:E0:D9
inet addr:172.16.3.76 Bcast:172.16.3.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Interrupt:16 Memory:f8000000-f8012100
eth0:1 Link encap:Ethernet HWaddr 00:15:C5:EF:E0:D9
inet addr:10.1.1.3 Bcast:10.1.1.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Interrupt:16 Memory:f8000000-f8012100
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:2493 errors:0 dropped:0 overruns:0 frame:0
TX packets:2493 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:1339237 (1.2 MiB) TX bytes:1339237 (1.2 MiB)
tunl0 Link encap:IPIP Tunnel HWaddr
inet addr:172.16.3.76 Mask:255.255.255.255
UP RUNNING NOARP MTU:1480 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)
测试：关闭主节点，备份节点将自动接管directorserver服务。
四，把备份节点也作为realserver
1. 在上述DR节点做的以外，备份节点还需要也添加realserver脚本
另外需要添加关闭备用节点的脚本
[root@lvsdr lvs]# vi /etc/rc.d/init.d/closeDR
VIP=172.16.3.76
. /etc/rc.d/init.d/functions
case "$1" in
start)
echo "start director server and close dr"
ifconfig lo:0 down
echo 1 > /proc/sys/net/ipv4/ip_forward
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
echo "start Real Server"
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP up
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl –p
;;
*)
echo "Usage: lvs {start|stop}"
exit 1
esac
这个一个关闭备份节点的脚本，可以放到heartbeat里面去，在启动备用节点的时候自动关闭备份节点脚本
2， 修改备份节点的haresources
只需添加一项
[root@lvsdrbak lvs]# awk '/^[^$]/&&/^[^#]/' /etc/ha.d/haresources
lvsdr closedr IPaddr::172.16.3.76 ldirectord lvsDR
确定closedr脚本在 启动lvsDR之前就可以了。
五，测试
director服务器是 172.16.3.75
热备机是172.16.3.73
虚拟ip是172.16.3.76
realserver为 172.16.3.73 172.16.3.235
在主DR上启动服务
/etc/rc.d/init.d/heartbeat start
在ie里面输入http://172.16.3.76可以得到这两个页面
172.16.3.235下面有个index1.html 显示172.16.3.235
172.16.3.73下面有个index2.html 显示172.16.3.73
可以通过http://172.16.3.76/index1.html
http://172.16.3.76/index2.html
访问
拔掉172.16.3.75的网线，服务器切到172.16.3.73上。也能正常显示。
