IPVS-DR+heartbeat+ldirectord实现高可用负载均衡集群
一、环境
节点类型 主机名 ip地址
lvs-master node0 eth0:192.168.32.30
eth1:10.160.100.30 heart
vip:192.168.32.21
lvs-backup node1 eth0:192.168.32.31
eth1:10.160.100.31 heart
vip:192.168.32.21
RealServer1 node2 eth0:192.168.32.32
eth1:10.160.100.32
RealServer2
node3 eth0:192.168.32.33
eth1:10.160.100.33
二、安装
1、安装libnet
[root@node1 ~]# tar -zxvf libnet-1.1.4.tar.gz
[root@node1 ~]# cd libnet-1.1.4
[root@node1 libnet-1.1.4]# ./configure
[root@node1 libnet-1.1.4]# make;make install
#libnet是一个高层次API工具，使用heartbeat需要用到他
2、安装heartbeat
[root@node1 ~]# tar -zxvf heartbeat-2.1.3.tar.gz
[root@node1 ~]# cd heartbeat-2.1.3
[root@node1 heartbeat-2.1.3]# ./ConfigureMe configure --disable-swig --disable-snmp-subagent
[root@node1 heartbeat-2.1.3]# make ; make install
[root@node1 heartbeat-2.1.3]# cp doc/ha.cf doc/haresource doc/anthkeys /etc/ha.d/
#heartbeat复制样本配置文件(ha.cf、haresources、authkeys要到/etc/ha.d目录下面
[root@node1 heartbeat-2.1.3]# cp ldirectord/ldiretord.cf /etc/ha.d/
#复制ldirectord的配置文件至/etc/ha.d目录下
[root@node1 heartbeat-2.1.3]# grouadd -g 694 haclient
#添加heartbeat运行需要的haclient组
[root@node1 heartbeat-2.1.3]# useradd -u 694 -g 694 hacluster
#添加heartbeat运行需要的hacluster用户
#heartbeat的安装包中默认包含ldirectord插件，该插件主要用于管理负载均衡，为保证ldirectord可用还行安装perl-Mailtools
[root@node1 ~]# yum install perl-TimeDate.noarch
[root@node1 ~]# rpm -ivh perl-MailTools-2.04-1.el5.rf.noarch.rpm
#安装ldirectord正常运行所需依赖工具
3、安装ipvsadm
[root@node1 ~]# yum install ipvsadm.i386
[root@node1 ~]# modprobe -l | grep ipvs
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_dh.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_ftp.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_lblc.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_lblcr.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_lc.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_nq.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_rr.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_sed.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_sh.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_wlc.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_wrr.ko
#查看内核是否加载ipvs模块
三、配置ldirectord
[root@node1 ~]# vim /etc/ha.d/ldirectord.cf
checktimeout=3 #检测超时时间
checkinterval=1 #检测时间
autoreload=yes #配置文件改动时是否自动加载
logfile="/var/log/ldirectord.log" # ldirectord日志路径
quiescent=yes #检测到real server异常后是否保留该real server的配置
virtual=192.168.32.21:80 #VIP
real=192.168.32.32:80 gate
#Real Server1
real=192.168.32.33:80 gate
#Real Server2
service=http
request="test.html"
#要求httpd根下必须存在test.html文件且内容为receive参数所定义
receive="test"
virtualhost=httpd #随意定义
scheduler=rr #LVS负载算法，rr：轮询
persistent=600 #连接会话保持时间
protocol=tcp
checktype=negotiate #通过交互来判断服务是否正常
checkport=80
[root@node1 ~]# scp /etc/ha.d/ldirectord node0:/etc/ha.d/ldirectord
#确保两lvs主机（node0和node1）ldirectord.cf文件内容完全一样
四、heartbeat（两台lvs服务器node0和node1配置完全一样）
1、heartbeat主配置文件(/etc/ha.d/ha.cf)
[root@node1 ha.d]# vim /etc/ha.d/ha.cf
#debugfile /var/log/ha-debug
logfile /var/log/ha-log
#指名heartbeat的日志存放位置。
#crm yes
#是否开启Cluster Resource Manager（集群资源管理）功能。
bcast eth1
#指明心跳使用以太网广播方式，并且是在eth1接口上进行广播。
keepalive 2
#指定心跳间隔时间为2秒（即每两秒钟在eth1上发送一次广播）。
deadtime 30
#指定备用节点在30秒内没有收到主节点的心跳信号后，则立即接管主节点的服务资源。
warntime 10
#指定心跳延迟的时间为十秒。当10秒钟内备份节点不能接收到主节点的心跳信号时，就会往日志中写入一个警告日志，但此时不会切换服务。
initdead 120
#在某些系统上，系统启动或重启之后需要经过一段时间网络才能正常工作，该选项用于解决这种情况产生的时间间隔。取值至少为deadtime的两
倍。
udpport 694 #设置广播通信使用的端口，694为默认使用的端口号。
#baud 19200 #设置串行通信的波特率。
#serial /dev/ttyS0 #选择串行通信设备，用于双机使用串口线连接的情况。如果双机使用以太网。
#ucast eth0 192.168.1.2 #采用网卡eth1的udp单播来组织心跳，后面跟的IP地址应为双机对方的IP地址。
#mcast eth0 225.0.0.1 694 1 0 #采用网卡eth0的Udp多播来组织心跳，一般在备用节点不止一台时使用。Bcast、ucast和mcast分别代表广播、单播和多播，是组织心跳的三种方式，任选其一即可。
auto_failback on
#用来定义当主节点恢复后，是否将服务自动切回，heartbeat的两台主机分别为主节点和备份节点。主节点在正常情况下占用资源并运行所有的服务，遇到故障时把资源交给备份节点并由备份节点运行服务。在该选项设为on的情况下，一旦主节点恢复运行，则自动获取资源并取代备份节点，如果该选项设置为off，那么当主节点恢复后，将变为备份节点，而原来的备份节点成为主节点。
#stonith baytech /etc/ha.d/conf/stonith.baytech
# stonith的主要作用是使出现问题的节点从集群环境中脱离，进而释放集群资源，避免两个节点争用一个资源的情形发生。保证共享数据的安全性和完整性。
#watchdog /dev/watchdog
#该选项是可选配置，是通过Heartbeat来监控系统的运行状态。使用该特性，需要在内核中载入"softdog"内核模块，用来生成实际的设备文件，如果系统中没有这个内核模块，就需要指定此模块，重新编译内核。编译完成输入"insmod softdog"加载该模块。然后输入"grep misc /proc/devices"(应为10)，输入"cat /proc/misc |grep watchdog"(应为130)。最后，生成设备文件："mknod /dev/watchdog c 10 130" 。即可使用此功能。
node node0 #主节点主机名，可以通过命令“uanme –n”查看。
node node1 #备用节点主机名。
ping 192.168.32.254
#选择ping的节点，ping 节点选择的越好，HA集群就越强壮，可以选择固定的路由器作为ping节点，但是最好不要选择集群中的成员作为ping节点
，ping节点仅仅用来测试网络连接。
#ping_group group1 192.168.12.251 192.168.12.239 #类似于ping。
#respawn hacluster /usr/local/ha/lib/heartbeat/ipfail
#apiauth pingd gid=haclient uid=hacluster
apiauth pingd gid=root uid=root
respawn hacluster /usr/local/ha/lib/heartbeat/pingd -m 100 -d 5s
#该选项是可选配置，列出与heartbeat一起启动和关闭的进程，该进程一般是和heartbeat集成的插件，这些进程遇到故障可以自动重新启动。最常用的进程是pingd，此进程用于检测和监控网卡状态，需要配合ping语句指定的ping node来检测网络的连通性。其中hacluster表示启动pingd进程的身份。
#下面的配置是关键，也就是激活crm管理，开始使用v2 style格式
crm respawn
#注意，还可以使用crm yes的写法，但这样写的话，如果后面的cib.xml配置有问题
#会导致heartbeat直接重启该服务器，所以，测试时建议使用respawn的写法
#下面是对传输的数据进行压缩，是可选项
compression bz2
compression_threshold 2
#注意，v2 style不支持ipfail功能，须使用pingd代替
[root@node1 ~]# scp /etc/ha.d/ha.cf node0:/etc/ha.d/ha.cf
#拷贝主配置文件到node0上
2、认证文件(/etc/ha.d/authkeys)
[root@node1 resource.d]# vim /etc/ha.d/authkeys
auth 1
1 crc
#2 sha1 HI!
#3 md5 Hello!
#authkeys文件用于设定heartbeat的认证方式，共有三种可用的认证方式：crc、md5和sha1，三种认证方式的安全性依次提高，但是占用的系统资源也依次增加。如果heartbeat集群运行在安全的网络上，可以使用crc方式，如果HA每个节点的硬件配置很高，建议使用sha1，这种认证方式安全级别最高，如果是处于网络安全和系统资源之间，可以使用md5认证方式。无论auth后面指定的是什么数字，在下一行必须作为关键字再次出现，例如指定了“auth 6”，下面一定要有一行“6 认证类型”。最后确保这个文件的权限是600（即-rw-------）。
[root@node1 ~]# scp /etc/ha.d/authkeys node0:/etc/ha.d/authkeys
#拷贝认证文件到node0上
3、资源文件
[root@node1 ~]# vim /etc/ha.d/haresources
node0 IPaddr2::192.168.32.21/24/eth0 ldirectord::ldirectord.cf LVSSyncDaemonSwap::master
#添加VIP，通过ldirectord启动lvs配置
#haresources文件用于指定双机系统的主节点、集群IP、子网掩码、广播地址以及启动的服务等集群资源，文件每一行可以包含一个或多个资源脚本名，资源之间使用空格隔开，参数之间使用两个冒号隔开，在两个HA节点上该文件必须完全一致，此文件的一般格式为：
node-name network <resource-group>
#node-name表示主节点的主机名，必须和ha.cf文件中指定的节点名一致，network用于设定集群的IP地址、子网掩码、网络设备标识等，需要注意的是，这里指定的IP地址就是集群对外服务的IP地址，resource-group用来指定需要heartbeat托管的服务，也就是这些服务可以由heartbeat来启动和关闭，如果要托管这些服务，必须将服务写成可以通过start/stop来启动和关闭的脚步，然后放到/etc/init.d/或者/etc/ha.d/resource.d/目录下，heartbeat会根据脚本的名称自动去/etc/init.d或者/etc/ha.d/resource.d/目录下找到相应脚步进行启动或关闭操作。
[root@node1 ~]# scp /etc/ha.d/haresources node0:/etc/ha.d/haresources
#拷贝资源文件到node0上
五、RealServer（node2和node3）配置
1、生成负载均衡VIP脚本（node2和node3一样）
[root@node2~] # vim /etc/rc.d/init.d/lvsrs #
#!/bin/bash
#discription : Start Real Server
VIP=192.168.32.21
. /etc/rc.d/init.d/functions
case "$1" in
start)
echo "Start LVS of Real Server"
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
/sbin/ifconfig lo:0 down
echo "Close LVS of Director Server"
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo "Usage : $0 {start|stop}"
exit 1
esac
[root@node2~] # chmod a+x /etc/rc.d/init.d/lvsrs #给脚本增加可执行权限，然后启动并设置为开机启动：
2、生成测试文件
[root@node2~] # echo "test"> /var/www/html/test.html #ldirectord测试页，文件名和内容与ldirectord.cf中定义一样
[root@node2~] # echo "I am node2; My Ip：10.160.100.32"> /var/www/html/index.html
[root@node3~] # echo "test"> /var/www/html/test.html #ldirectord测试页，文件名和内容与ldirectord.cf中定义一样
[root@node3~] # echo "I am node3; My Ip：10.160.100.33"> /var/www/html/index.html
六、启动测试
1、启动服务
[root@node0 ~]# service heartbeat start
[root@node0 ~]# chkconfig heartbeat on
[root@node1 ~]# service heartbeat start
[root@node1 ~]# chkconfig heartbeat on
[root@node2 ~]# service lvsrs start
[root@node2 ~]# chkconfig lvsrs on
[root@node2 ~]# service httpd start
[root@node2 ~]# chkconfig httpd on
[root@node3 ~]# service lvsrs start
[root@node3 ~]# chkconfig lvsrs on
[root@node3 ~]# service httpd start
[root@node3 ~]# chkconfig httpd on
2、测试
[root@node0 ~]# ip addr show | grep 192.168.32.21
inet 192.168.32.21/24 brd 192.168.32.255 scope global secondary eth0
#node0的eth0网口已经添加vip
[root@node0 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.32.21:80 rr
-> 192.168.32.32:80 Route 1 0 1
-> 192.168.32.33:80 Route 1 0 1
#node0的lvs配置生效
[root@node0 ~]# iptables -A OUTPUT -d 192.168.32.254 -p icmp -j REJECT #人为断开网络
[root@node1 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.32.21:80 rr
-> 192.168.32.32:80 Route 1 0 0
-> 192.168.32.33:80 Route 1 0 0
#lvs自动切换到node1上，说明heartbeat双机机制成功
realserver配置测试略，通过ie访问可得到web内容再2s轮询方式切换
本文转自netsword 51CTO博客，原文链接:http://blog.51cto.com/netsword/769156
