基于keepalived对HAproxy做高可用集群

简介:

一、Keepalived简介

Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的web服务器。

Layer3,4&7工作在IP/TCP协议栈的IP层,TCP层,及应用层,原理分别如下:
Layer3:Keepalived使用Layer3的方式工作式时,Keepalived会定期向服务器群中的服务器发送一个ICMP的数据包(既我们平时用的Ping程序),如果发现某台服务的IP地址没有激活,Keepalived便报告这台服务器失效,并将它从服务器群中剔除,这种情况的典型例子是某台服务器被 非法关机。Layer3的方式是以服务器的IP地址是否有效作为服务器工作正常与否的标准。在本文中将采用这种方式。
Layer4:如果您理解了Layer3的方式,Layer4就容易了。Layer4主要以TCP端口的状态来决定服务器工作正常与否。如web server的服务端口一般是80,如果Keepalived检测到80端口没有启动,则Keepalived将把这台服务器从服务器群中剔除。

   Layer7:Layer7就是工作在具体的应用层了,比Layer3,Layer4要复杂一点,在网络上占用的带宽也要大一些。Keepalived将根据用户的设定检查服务器程序的运行是否正常,如果与用户的设定不相符,则Keepalived将把服务器从服务器群中剔除。

二、安装配置

1.拓扑图

wKioL1Nkn6eyMZ4OAAChbkfDbog261.jpg

   说明:1.两个代理服务器通过VIP向外提供数据

         2.两个代理服务器都可以代理后端的服务器

         3.为测试方便,后端服务器至提供静态页面

2.ip规划

功用 ip地址 安装软件
VIP 192.168.1.99
反向代理1 192.168.1.201 keepalived、haproxy
反向代理2 192.168.1.204 keepalived、haproxy
web服务器1 192.168.1.202 httpd
web服务器2 192.168.1.203 httpd

3.安装配置haproxy

   关于haproxy的详细配置,请参照http://wangfeng7399.blog.51cto.com/3518031/1405758      

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
[root@node1 ~]# cat /etc/haproxy/haproxy.cfg
#---------------------------------------------------------------------
# Example configuration  for  a possible web application.  See the
# full configuration options online.
#
#   http: //haproxy.1wt.eu/download/1.4/doc/configuration.txt
#
#---------------------------------------------------------------------
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
     # to have these messages end up  in  / var /log/haproxy.log you will
     # need to:
     #
     1 ) configure syslog to accept network log events.  This  is  done
     #    by adding the  '-r'  option to the SYSLOGD_OPTIONS  in
     #    /etc/sysconfig/syslog
     #
     2 ) configure local2 events to go to the / var /log/haproxy.log
     #   file. A line like the following can be added to
     #   /etc/sysconfig/syslog
     #
     #    local2.*                       / var /log/haproxy.log
     #
     log          127.0 . 0.1  local2
     chroot      / var /lib/haproxy
     pidfile     / var /run/haproxy.pid
     maxconn      4000
     user        haproxy
     group       haproxy
     daemon
     # turn on stats unix socket
     stats socket / var /lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the  'listen'  and  'backend'  sections will
use  if  not designated  in  their block
#---------------------------------------------------------------------
defaults
     mode                    http
     log                     global
     option                  httplog
     option                  dontlognull
     option http-server-close
     option forwardfor       except  127.0 . 0.0 / 8
     option                  redispatch
     retries                  3
     timeout http-request    10s
     timeout queue           1m
     timeout connect         10s
     timeout client          1m
     timeout server          1m
     timeout http-keep-alive 10s
     timeout check           10s
     maxconn                  3000
#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend  main *: 80
     default_backend  static   
#---------------------------------------------------------------------
static  backend  for  serving up images, stylesheets and such
#---------------------------------------------------------------------
backend  static
     balance     roundrobin
     server      node2  192.168 . 1.202 : 80  check maxconn  2000
     server      node3  192.168 . 1.203 : 80  check maxconn  2000
#---------------------------------------------------------------------
# round robin balancing between the  var ious backends
#---------------------------------------------------------------------

   说明:两个节点的HAproxy的配置文件应该保持一样

4.测试haproxy的配置

wKiom1NkqEjjye6UAAB5vROjfcc126.jpg

wKioL1NkqB7yeQdHAAByUqYSatI357.jpg

5.安装配置keepalived

       ①、安装keepalived

           keepalived的安装可以通过yum源来安装,也可以通过编译源码来安装,本处通过yum源赖安装

       ②、配置keepalived主节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
[root@node1 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File  for  keepalived
global_defs {   //全局参数
    notification_email {  //邮件
      sysadmin@firewall.loc  //收件人地址
    }
    notification_email_from Alexandre.Cassen@firewall.loc  //发件人地址
    smtp_server  127.0 . 0.1   //邮件服务器的地址
    smtp_connect_timeout  30   //间隔时间
    router_id LVS_DEVEL   //邮件服务器的组的id
}
vrrp_script chk_haproxy {
     script  "killall -0 haproxy"   //检查haproxy是否在线
     interval  1     //检查间隔时间
     weight - 5      //如果检查失败,则权重-5
}
vrrp_instance VI_1 {    //定义第一个集群
     state MASTER       //初始状态为主节点,从节点应该为BACKUP
     interface  eth0     //配置ip的端口
     virtual_router_id  51   //本组集群的id号,主从节点必须一样
     priority  100    //主节点的优先级,备用节点的优先级必须低于主节点
     advert_int  1    //心跳检查间隔时间
     authentication {
         auth_type PASS    //通信为明文密码通信
         auth_pass  1111    //通信的密码,主从节点必须一样
     }
     virtual_ipaddress {
         192.168 . 1.99     //定义一个VIP
     }
track_script {    //调用上面的命令
     chk_haproxy
}
}

   ③、配置keepalived从节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
[root@node4 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File  for  keepalived
global_defs {
    notification_email {
      sysadmin@firewall.loc
    }
    notification_email_from Alexandre.Cassen@firewall.loc
    smtp_server  127.0 . 0.1
    smtp_connect_timeout  30
    router_id LVS_DEVEL
}
vrrp_script chk_haproxy {
     script  "killall -0 haproxy"
     interval  1
     weight - 5
}
vrrp_instance VI_1 {
     state BACKUP
     interface  eth0
     virtual_router_id  51
     priority  99
     advert_int  1
     authentication {
         auth_type PASS
         auth_pass  1111
     }
     virtual_ipaddress {
         192.168 . 1.99
     }
track_script {
     chk_haproxy
}
}

6.测试 

1
2
3
4
5
6
2 : eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu  1500  qdisc pfifo_fast state UP qlen  1000
     link/ether  00 :0c: 29 : 56 : 78 :cd brd ff:ff:ff:ff:ff:ff
     inet  192.168 . 1.204 / 24  brd  192.168 . 1.255  scope global eth0
     inet  192.168 . 1.99 / 32  scope global eth0
     inet6 fe80::20c:29ff:fe56:78cd/ 64  scope link tentative dadfailed
        valid_lft forever preferred_lft forever

      可以看到ip地址已经配置上去了

wKioL1Nkr17zGRQ-AACGBxHygoA656.jpg

   我们可以看到网页访问正常

   下面,我们模拟服务器损坏,将node1上的haproxy关掉,看看ip地址是否会转移到node4上

1
2
3
4
5
6
7
8
9
10
11
12
[root@node4 ~]# ip add
1 : lo: <LOOPBACK,UP,LOWER_UP> mtu  16436  qdisc noqueue state UNKNOWN
     link/loopback  00 : 00 : 00 : 00 : 00 : 00  brd  00 : 00 : 00 : 00 : 00 : 00
     inet  127.0 . 0.1 / 8  scope host lo
     inet6 :: 1 / 128  scope host
        valid_lft forever preferred_lft forever
2 : eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu  1500  qdisc pfifo_fast state UP qlen  1000
     link/ether  00 :0c: 29 : 56 : 78 :cd brd ff:ff:ff:ff:ff:ff
     inet  192.168 . 1.204 / 24  brd  192.168 . 1.255  scope global eth0
     inet  192.168 . 1.99 / 32  scope global eth0
     inet6 fe80::20c:29ff:fe56:78cd/ 64  scope link tentative dadfailed
        valid_lft forever preferred_lft forever

   查看网页是否能够访问正常   wKiom1NksguiuvRCAACLwWl-ptU734.jpg

    OK!!可以看到我们的页面访问正常,这就可以实现当前段的一个反向代理服务器宕机或者后端的一个web服务宕机,服务都可以正常对外提供

     7.扩展

         我们还可以自定义通知机制

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
#!/bin/bash
# Author: wangfeng7399<wangfeng17399@ 163 .com>
# description: An example of notify script
#
vip= 192.168 . 1.99
contact= 'root@localhost'
notify() {
     mailsubject= "`hostname` to be $1: $vip floating"
     mailbody= "`date '+%F %H:%M:%S'`: vrrp transition, `hostname` changed to be $1"
     echo $mailbody | mail -s  "$mailsubject"  $contact
}
case  "$1"  in
     master)
         notify master
         exit  0
     ;;
     backup)
         notify backup
         exit  0
     ;;
     fault)
         notify fault
         exit  0
     ;;
     *)
         echo  'Usage: `basename $0` {master|backup|fault}'
         exit  1
     ;;
esac

       在keepalived的配置文件中通过notify来调用,如下所示

1
2
3
notify_master  "/etc/keepalived/notify.sh master"
notify_backup  "/etc/keepalived/notify.sh backup"
notify_fault  "/etc/keepalived/notify.sh fault"

       大功告成,由于本人水平有限,可能有逻辑上的错误,请各位大神匹配指正


本文转自wangfeng7399 51CTO博客,原文链接:http://blog.51cto.com/wangfeng7399/1405785,如需转载请自行联系原作者


相关文章
|
12天前
|
运维 负载均衡 监控
keepalived+LVS实现高可用性集群
通过结合keepalived和LVS,你可以创建一个高可用性的负载均衡集群,确保服务器的稳定性和性能。这对于托管Web服务、应用服务器等关键服务的服务器集群非常有用。
24 1
|
负载均衡 NoSQL 关系型数据库
Nginx+keepalived实现高可用集群
大型企业架构一般是用户先访问到四层负载均衡,在由四层负载均衡转发至七层服务在均衡,七层负载均衡再转发至后端服务器,四层负载均衡只起到一个分流的作用,根据用户访问的端口,比如说80端口就会跳转至七层的对应的集群,两台四层负载均衡配置是一模一样的,形成高可用,七层的配置也是一模一样的,当有1500个请求需要响应时,四层负载均衡就会平均将1500个请求分给急群中的lb,每个lb响应500个请求,减轻单点的压力。
1326 0
Nginx+keepalived实现高可用集群
|
应用服务中间件 Shell Linux
nginx通过keepalived实现高可用(主备方式)
nginx通过keepalived实现高可用(主备方式)
446 0
|
负载均衡 JavaScript 应用服务中间件
Nginx负载均衡配置+keepalived高可用
Nginx负载均衡配置+keepalived高可用
3290 0
|
监控 关系型数据库 MySQL
|
负载均衡 网络协议 数据安全/隐私保护
|
网络协议 开发工具 网络架构
|
缓存 数据安全/隐私保护