LVS+Heartbeat+Ldirectord 集群的部署安装
一．软硬件环境
4台Vmware虚拟机，要求在同一个网段
操作系统：RHEL5.4
LVS包：ipvsadm-1.24.tar.gz（安装光盘加自带）
Libnet包：libnet.tar.gz　（网站下载）
Heartbeat 包：Heartbeat-STABLE-2-1-STABLE-2.1.4.tar.bz2 （网站下载）
 
二．网络拓扑图

三．IP 地址规划

节点名称
节点功能
IP地址
子网掩码
网关
Heartbeat201
HA主节点
192.168.2.201
255.255.255.0
192.168.2.1
Heartbeat202
HA备节点
192.168.2.202
255.255.255.0
192.168.2.1
VIP
虚拟应用IP
192.168.2.200
255.255.255.0
192.168.2.1
 
主节点心跳（网口）
10.0.0.1
255.255.255.0
 
 
备节点心跳（网口）
10.0.0.2
255.255.255.0
 
Real203
Real节点，提供应用
192.168.2.203
255.255.255.0
192.168.2.1
Real204
Real节点，提供应用
192.168.2.204
255.255.255.0
192.168.2.1

 
四．组件功能简介
HA节点：提供的服务为  Heartbeat 和 LVS
Real节点：提供 http等应用服务
Heartbeat： 提供双机热备的服务
LVS： 为 real节点的应用提供负载均衡
Ldirectord： 监控 real节点的应用服务
 
五．HA节点预安装包检查
ldirectord 所需的库文件的安装（不安装启动出现问题）
perl-Compress-Zlib-1.42-1.fc6.i386.rpm
perl-HTML-Tagset-3.10-2.1.1.noarch.rpm
perl-HTML-Parser-3.55-1.fc6.i386.rpm
perl-libwww-perl-5.805-1.1.1.noarch.rpm
perl-TimeDate-1.16-1.2.el5.rf.noarch.rpm
perl-MailTools-1.76-1.el5.rf.noarch.rpm
 
六．关闭不必要的服务
--------------------------------------------------------------------------------------------------
services=`chkconfig --list|cut -f1|cut -d" " -f1`
for ser in $services
do
 if [ "$ser" == "network" ] || [ "$ser" == "syslog" ] || [ "$ser" == "sshd" ] || [ "$ser" == "crond" ] || [ "$ser" == "atd" ];
 then
      chkconfig "$ser" on
 else
      chkconfig "$ser" off
 fi
done
reboot
--------------------------------------------------------------------------------------------------
注：将以上保存为脚本执行
 
七．编辑各节点的hosts文件
各服务器的  /etc/hosts 文件保持一致，并编辑/etc/sysconfig/network与hostname一致
vi /etc/hosts
192.168.2.201    heartbeat201
192.168.2.202    heartbeat202
192.168.2.203    real203
192.168.2.204    real204
      
八．HA节点依次安装以下软件包
ipvsadm-1.24.tar.gz
libnet.tar.gz
Heartbeat-STABLE-2-1-STABLE-2.1.4.tar.bz2
 
编译安装 ipvsadm
tar zxf ipvsadm-1.24.tar.gz
cd ipvsadm-1.24/
make
make install
注：此处装可能会报错，解决编译安装时报错问题，方法如下：
1.找到 ip_vs.h文件.copy to /usr/include/net下
2.ln -s /usr/src/kernels/2.6.18-164.el5-i686/ /usr/src/linux
3.修改当前目录和 libipvs目录中的Makefile的：
INCLUDE = -I/usr/src/linux/include -I.. -I.
为：
INCLUDE = -I/usr/src/kernels/2.6.18-164.el5-i686/include -I..-I.
 
编译安装 libnet(heartbeat需要)
tar zxf libnet-1.1.2.1.tar.gz
cd libnet
./configure
make
make install
 
编译安装 heartbeat（ldirecrtord包含在一起）
tar jxf Heartbeat-STABLE-2-1-STABLE-2.1.4.tar.bz2
cd Heartbeat-STABLE-2-1-STABLE-2.1.4
./ConfigureMe configure
make
make install
编译安装完成后会在 /etc/ha.d中生成一些文件，但是配置文件还是需要我们手动来创建，位置在Heartbeat-STABLE-2-1-STABLE-2.1.4/doc中
cp doc/authkeys /etc/ha.d/
cp doc/ha.cf /etc/ha.d/
cp doc/haresources /etc/ha.d/
cp ldirectord/ldirectord.cf /etc/ha.d/
 
cd /etc/ha.d
chmod 600 authkeys
 
九．建立HA所必须的用户并把相关的文件赋予权限
--------------------------------------------------------------------------------------------
groupadd haclient
useradd -g haclient hacluster
chown -R hacluster:haclient /var/lib/heartbeat
find / -type d -name "heartbeat" -exec chown -R hacluster {} \;
find / -type d -name "heartbeat" -exec chgrp -R haclient {} \;
cd /etc/ha.d
for i in authkeys ha.cf haresources ldirectord.cf; do cp $i ${i}_bk; done
cd -
chkconfig --add heartbeat
chkconfig heartbeat off
echo “ sleep 60; /etc/init.d/heartbeat start” >> /etc/rc.local
休眠 60秒等网络初始化完成后，再启用 heartbeat 服务，可以避免出现错误。
----------------------------------------------------------------------------------------------
 
十．Heartbeat版本V1与V2配置文件区别
/etc/ha.d/authkeys 该文件在两个版本作用是完全相同的，都必须设置，并且保证每个节点（ node）内容一样；
/etc/ha.d/ha.cf 这个是主要配置文件，由其决定 v1或v2 style格式
/etc/ha.d/haresources 这是 v1的资源配置文件
/var/lib/heartbeat/crm/cib.xml 这是 v2的资源配置文件，两者根据ha.cf的设定只能选其
 
十一．配置相关文件
1．配置验证文件
vi /etc/ha.d/authkeys
heartbeat 身份验证文件，支持 crc、sha1、md5三种加密方式，文件权限为600
auth 3 #选择第三种认真方式
1 crc
2 sha1 HI!
3 md5 I am ready! #3的认证方式为 md5加密的字串
 
2．配置 heartbeat主要配置文件
vi /etc/ha.d/ha.cf                                   
# use_logd on                                   #　启用日志，默认写入 /var/log/messege
logfile /var/log/ha-log                          #　日志文件的路径
logfacility local0
keepalive 2                      #   心跳检测的平率为 2秒一次      
deadtime 10                     #   如果 30秒内没有相应心跳就做切换
warntime 10                      # 指明心跳的延时为 10秒做警告记录一条日志，没有其他动作
initdead 40                                 #   这个值设置成 deadtime的两倍就可以了
# baud 115200    19200                 #　串口速率
# serial /dev/ttyS0               #　串口检测心跳
udpport 694                                  # 数据通信的端口
bcast eth1                                   #　 eth1为心跳工作接口
ucast eth1 10.0.0.2           　　  #　检测对端心跳接口的地址 (HA备节点的eth1地址)
auto_failback on                             #　当主 HA节点恢复后，自动切换
node     heartbeat201                             #　主 HA节点计算机名 //主控机的在前面
node     heartbeat202                             #　备 HA节点计算机名 //备用机的在后面
ping 192.168.2.1                              #　检测网络是否正常，可以设置成网关地址
#respawn root /usr/lib/heartbeat/ipfail            #　 ipfail文件的路径
#apiauth ipfail gid=root uid=root                  #　启用 ipfail进程的用户是root
 
3．配置资源文件
vi /etc/ha.d/haresources      
heartbeat201 192.168.2.200 Cluster ldirectord
heartbeat201　主 HA节点的计算机名
192.168.2.200       应用 VIP地址
ldirecrtord和 Cluster是启动脚本，当主节点或者备用节点宕机后都会通过这个脚本文件去启动服务
ldirecrtord脚本的位置可以再 /etc/rc.d/init.d中找到，Cluster是手工创建的
haresources会在以下 2个目录搜索同名启动脚本
/etc/rc.d/init.d/
/etc/ha.d/resource.d/
 
4．配置监控文件
vi /etc/ha.d/ldirectord.cf
checktimeout=3                         #　检测超时
checkinterval=1                       #　检测间隔
autoreload=yes                         #　从新载入客户机
logfile="/var/log/ldirectord.log"      #　日志路径
logfile="local0"
quiescent=no                      #　 realserver 宕机后从lvs列表中删除，恢复后自动添加进列表
virtual=192.168.2.200:80                #　监听 VIP地址80端口
real=192.168.2.203:80 gate            #　真机 IP地址和端口 路由模式
real=192.168.2.204:80 gate
fallback=127.0.0.1:80 gate　　　　　 #　如果real节点都宕机，则回切到环回地址
service=http                     　 #　服务是http
request="DoNotDelete.html" 　 #　保存在real的web根目录并且可以访问,通过它来判断real是否存活
receive="Do Not Delete"       #　文件内容
scheduler=rr         　　　　 #　调度算法   　   
protocol=tcp     　　　　　　 #　检测协议             
checktype=negotiate          #　检测类型
checkport=80                 #　检测端口
 
把 authkeys，ha.cf，haresources，ldirectord.cf以及Cluster这五个脚本通过SCP复制到相同目录下
例： scp authkeys root@192.168.2.202:/etc/ha.d/
本实验用网卡作为心跳接口，唯一要改的地方是 ha.cf中ucast eth1 10.0.0.2把他修改成主HA节点的心跳监听接口的地址10.0.0.1，其它的配置文件备HA节点与主HA节点保持完全一致。
 
十二．REAL节点配置
需要生成 ldirectord 的监控页面
当 ldirectord 不能获取这个页面或者页面内容有误的话，会把该real节点从LVS的列表里面删除。
echo "Do Not Delete" > $install_dir/apache/htdocs/DoNotDelete.html #放在网站根目录下。
或者可以安装一个 tomcat用做测试
 
十三．相关脚本
将 Cluster脚本放到/etc/ha.d/resource.d/目录下，并将权限修改为755
[root@heartbeat201 ~]# cat /etc/ha.d/resource.d/Cluster
#!/bin/bash
# Default-Start:3 5
# description: Start Cluster Scheduling
# create in 20070713 by dave
# In 20070718 fix the haresources call erro
# Source function library
 
. /etc/init.d/functions
prog="Cluster Scheduling"
#=====set the cluster ip===============
VIPT1=eth0:0
VIP1=192.168.2.200
RIP1=192.168.2.203
RIP2=192.168.2.204
#=====set functions====================
start() {
echo "Start the $prog"
ifconfig $VIPT1 $VIP1 broadcast $VIP1 netmask 255.255.255.255 up && route add -host $VIP1 dev $VIPT1
ipvsadm -C
ipvsadm -A -t $VIP1:80 -s rr
ipvsadm -a -t $VIP1:80 -r $RIP1:80 -g
ipvsadm -a -t $VIP1:80 -r $RIP2:80 -g
success
ipvsadm -ln
}
stop() {
echo "Stop the $prog"
ipvsadm -C
ifconfig $VIPT1 down
success
}
restart() {
stop
start
}
state() {
ipvsadm -ln
}
reload() {
restart
}
#=====call function======================
case "$1" in
start)
start
;;
stop)
stop
;;
reload|restart)
restart
;;
status)
state
;;
*)
echo $"Usage: $0 {start|stop|restart|reload|status}"
exit 1
esac
 
-----------------------------------------------------------------------------------------------
将以下脚本分别放在 real203与real204两个real节点的/etc/rc.d/init.d/目录下，
并执行 ./realserver start启动脚本，所有real节点的脚本都相同。
查看其状态如下：
[root@real203 init.d]# ./realserver status
lo:0       Link encap:Local Loopback 
          inet addr:192.168.2.200 Mask:255.255.255.255
          UP LOOPBACK RUNNING MTU:16436 Metric:1
 
[root@203 ~]# cat /etc/init.d/realserver
#!/bin/bash
# Default-Start: 3 5
# description: Start Cluster Scheduling
# create in 20070713 by dave
# Source function library
. /etc/init.d/functions
prog="Realserver"
#=====Set the Virtual IP=====
VIPT1=lo:0
VIP1=192.168.2.200
#=====set functions=====
start() {
if [ ! -f /tmp/realserver.pid ]; then
echo "Start the $prog"
ifconfig $VIPT1 $VIP1 broadcast $VIP1 netmask 255.255.255.255 up
route add -host $VIP1 dev $VIPT1
touch /tmp/realserver.pid
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
success
return 0
else echo "The $prog already running!!!"
return 1
failure
fi
}
stop() {
if [ ! -f /tmp/realserver.pid ]; then
echo "The $prog not run yeah!!!"
failure
return 1
else echo "Stop the $prog"
ifconfig lo:0 down
rm -rf /tmp/realserver.pid
success
return 0
fi
}
restart() {
stop
start
}
reload() {
restart
}
state() {
ifconfig lo:0
}
#=====call function======
case "$1" in
start)
restart
;;
stop)
stop
;;
reload|restart)
restart
;;
status)
state
;;
*)
echo $"Usage: $0 {start|stop|restart|reload|status}"
exit 1
esac
--------------------------------------------------------------------------------------------------
提供一个 tomcat的自启动脚本，但本实验可不采用
#!/bin/bash
#
# Startup script for the tomcat
#
# chkconfig: 345 80 15
# description: Tomcat is a Servlet+JSP Engine.
 
export JAVA_HOME=/root/jdk1.5.0_19
export JAVA_JRE=/root/jdk1.5.0_19/jre
 
# Source function library.
. /etc/rc.d/init.d/functions
 
start(){
if [ -z $(/sbin/pidof java) ]; then
echo "Starting tomcat"
/root/tomcat5/bin/startup.sh
touch /var/lock/subsys/tomcat
else
echo "tomcat allready running"
fi
}
 
stop(){
if [ ! -z $(/sbin/pidof java) ]; then
echo "Shutting down tomcat"
/root/tomcat5/bin/shutdown.sh
until [ -z $(/sbin/pidof java) ]; do :; done
rm -f /var/lock/subsys/tomcat
else
echo "tomcat not running"
fi
}
 
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
status)
/root/tomcat5/bin/catalina.sh version
;;
*)
echo "Usage: $0 {start|stop|restart|status}"
esac
exit 0
-------------------------------------------------------------------------------------------------
 
十四．观察与测试
在 HA主备节点分别执行 service heartbeat start
同时用  tail –f /var/log/message 查看heartbeat 日志中，是否有错误。
查看启动细节可以  more /var/log/ha-log　日志
同时请查看虚拟 VIP地址是否在主HA节点上出现
ifconfig
eth0:0     Link encap:Ethernet HWaddr 00:0C:29:55:62:F7 
          inet addr:192.168.2.200 Bcast:192.168.2.200 Mask:255.255.255.255
          UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
          Interrupt:169 Base address:0x2000
 
查看 LVS列表，看real节点是否被添加到列表中（同时只能在VIP所在节点上查看LVS列表）
[root@heartbeat201 init.d]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port            Forward Weight ActiveConn InActConn
TCP 192.168.2.200:80 rr
 -> 192.168.2.204:80              Route   1      0          0        
 -> 192.168.2.203:80              Route   1      0          0        
 
在主备 HA节点上查看heartbeat进程是否起来
[root@heartbeat201 ~]# ps -aux|grep heartbeat
root       1812 0.0 3.2 12408 12404 ?        SLs 12:09   0:01 heartbeat: master control process
nobody     1880 0.0 1.5   5812 5808 ?        SL   12:09   0:00 heartbeat: FIFO reader     
nobody     1881 0.0 1.5   5808 5804 ?        SL   12:09   0:00 heartbeat: write: bcast eth1
nobody     1882 0.0 1.5   5808 5804 ?        SL   12:09   0:00 heartbeat: read: bcast eth1
nobody     1891 0.0 1.5   5808 5804 ?        SL   12:09   0:00 heartbeat: write: ucast eth1
nobody     1892 0.0 1.5   5808 5804 ?        SL   12:09   0:00 heartbeat: read: ucast eth1
nobody     1901 0.0 1.5   5808 5804 ?        SL   12:09   0:00 heartbeat: write: ping 192.168.2.1
nobody     1902 0.0 1.5   5808 5804 ?        SL   12:09   0:00 heartbeat: read: ping 192.168.2.1
root       2305 0.0 0.1   3916   676 pts/0    R+   12:37   0:00 grep heartbeat
 
在主 HA节点上查看ldirectord进程是否起来
[root@heartbeat201 init.d]# ps -ef|grep ldirectord
root       2248     1 1 12:09 ?        00:00:20 /usr/bin/perl -w /etc/ha.d/resource.d/ldirectord start
root       2313 2270 0 12:42 pts/0    00:00:00 grep ldirectord
 
在主备 HA节点上查看heartbeat占用的udp端口
[root@heartbeat201 init.d]# netstat -nltpu |grep 694
tcp         0      0 :::22                       :::*                     LISTEN      1694/sshd          
udp         0      0 0.0.0.0:694                 0.0.0.0:*                1891/heartbeat: wri
udp         0      0 0.0.0.0:694                 0.0.0.0:*                1881/heartbeat: wri　
 
 
测试方法主要有以下几种：
1． 将主 HA的heartbeat服务关闭，或者关闭主HA机器，在备HA节点查看VIP地址，LVS列表是否正常。通过IE访问测试访址是否正常。
2． 由于设置的回切，当主 HA节点恢复后，看是否正常回切。
3． 关闭其中一个 real节点的应用，查看LVS列表是否将其real节点清除。恢复real节点应用后，查看LVS列表，是否被添加进来。