1、介绍

   Keeaplived主要有两种应用场景，一个是通过配置keepalived结合ipvs做到负载均衡（LVS+Keepalived），有此需求者可参考以往博文：http://lizhenliang.blog.51cto.com/7876557/1343734。另一个是通过自身健康检查、资源接管功能做高可用（双机热备），实现故障转移。

  以下内容主要针对Keepalived+MySQL双主实现双机热备为根据，主要讲解keepalived的状态转换通知功能，利用此功能可有效加强对MySQL数据库监控。此文不再讲述Keepalived+MySQL双主部署过程，有需求者可参考以往博文：http://lizhenliang.blog.51cto.com/7876557/1362313

2、keepalived主要作用

   keepalived采用VRRP（virtual router redundancy protocol），虚拟路由冗余协议，以软件的形式实现服务器热备功能。通常情况下是将两台linux服务器组成一个热备组（master-backup），同一时间热备组内只有一台主服务器（master）提供服务，同时master会虚拟出一个共用IP地址（VIP），这个VIP只存在master上并对外提供服务。如果keepalived检测到master宕机或服务故障，备服务器（backup）会自动接管VIP成为master，keepalived并将master从热备组移除，当master恢复后，会自动加入到热备组，默认再抢占成为master，起到故障转移功能。

3、工作在三层、四层和七层原理

Layer3：工作在三层时，keepalived会定期向热备组中的服务器发送一个ICMP数据包，来判断某台服务器是否故障，如果故障则将这台服务器从热备组移除。

Layer4：工作在四层时，keepalived以TCP端口的状态判断服务器是否故障，比如检测mysql 3306端口，如果故障则将这台服务器从热备组移除。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
示例：
! Configuration File  for  keepalived
global_defs {
    notification_email {
      example@163.com
    }
    notification_email_from  example@example.com
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id MYSQL_HA
}
vrrp_instance VI_1 {
     state BACKUP
     interface eth1
     virtual_router_id 50
     nopreempt                    #当主down时，备接管，主恢复，不自动接管
     priority 100
     advert_int 1
     authentication {
         auth_type PASS
         ahth_pass 123
     }
     virtual_ipaddress {
         192.168.1.200           #虚拟IP地址
     }
}
virtual_server 192.168.1.200 3306 {        
     delay_loop 6
#    lb_algo rr 
#    lb_kind NAT
     persistence_timeout 50
     protocol TCP
     real_server 192.168.1.201 3306 {        #监控本机3306端口
         weight 1
         notify_down  /etc/keepalived/kill_keepalived .sh    #检测3306端口为down状态就执行此脚本（只有keepalived关闭，VIP才漂移 ） 
         TCP_CHECK {          #健康状态检测方式，可针对业务需求调整（TTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK）
             connect_timeout 3
             nb_get_retry 3
             delay_before_retry 3
         }
     }
}

Layer7：工作在七层时，keepalived根据用户设定的策略判断服务器上的程序是否正常运行，如果故障则将这台服务器从热备组移除。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
示例：
! Configuration File  for  keepalived
global_defs {
    notification_email {
      example@163.com
    }
    notification_email_from  example@example.com
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id MYSQL_HA
}
vrrp_script check_nginx {
     script  /etc/keepalived/check_nginx .sh     #检测脚本
     interval 2    #执行间隔时间
}
vrrp_instance VI_1 {
     state BACKUP
     interface eth1
     virtual_router_id 50
     nopreempt                    #当主down时，备接管，主恢复，不自动接管
     priority 100
     advert_int 1
     authentication {
         auth_type PASS
         ahth_pass 123
     }
     virtual_ipaddress {
         192.168.1.200           #虚拟IP地址
     }
     track_script {           #在实例中引用脚本
         check_nginx
     }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
脚本内容如下：
# cat /etc/keepalived/check_nginx.sh
Count1=` netstat  -antp | grep  - v  grep  | grep  nginx | wc  -l`
if  [ $Count1 - eq  0 ];  then
     /usr/local/nginx/sbin/nginx
     sleep  2
     Count2=` netstat  -antp | grep  - v  grep  | grep  nginx | wc  -l`
     if  [ $Count2 - eq  0 ];  then
         service keepalived stop
     else
         exit  0
     fi 
else
     exit  0
fi

4、健康状态检测方式

  4.1 HTTP服务状态检测

1
2
3
4
5
6
7
8
9
10
11
12
   HTTP_GET或SSL_GET {    
       url {
           path  /index .html         #检测url，可写多个
           digest  24326582a86bee478bac72d5af25089e     #检测效验码
           #digest效验码获取方法：genhash -s IP -p 80 -u http://IP/index.html 
           status_code 200          #检测返回http状态码
       }
       connect_port 80  #连接端口
       connect_timeout 3   #连接超时时间
       nb_get_retry 3   #重试次数
       delay_before_retry 2  #连接间隔时间
    }

  4.2 TCP端口状态检测（使用TCP端口服务基本上都可以使用）

1
2
3
4
5
6
   TCP_CHECK {    
       connect_port 80      #健康检测端口，默认为real_server后跟端口
       connect_timeout 5
       nb_get_retry 3
       delay_before_retry 3
   }

  4.3 邮件服务器SMTP检测

1
2
3
4
5
6
7
8
9
10
   SMTP_CHECK {             #健康检测邮件服务器smtp    
       host {
           connect_ip
           connect_port
       }
       connect_timeout 5
       retry 2
       delay_before_retry 3
       hello_name  "mail.domain.com"
   }

  4.4 用户自定义脚本检测real_server服务状态

1
2
3
4
5
   MISC_CHECK {    
       misc_path  /script .sh     #指定外部程序或脚本位置
       misc_timeout 3       #执行脚本超时时间
       !misc_dynamic        #不动态调整服务器权重（weight），如果启用将通过退出状态码动态调整real_server权重值
   }

5、状态转换通知功能

   keepalived主配置邮件通知功能，默认当real_server宕机或者恢复时才会发出邮件。有时我们更想知道keepalived的主服务器故障切换后，VIP是否顺利漂移到备服务器，MySQL服务器是否正常？那写个监控脚本吧，可以，但没必要，因为keepalived具备状态检测功能，所以我们直接使用就行了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
主配置默认邮件通知配置模板如下：
global_defs            # Block id
     {
     notification_email     # To:
         {
         admin@example1.com
         ...
          }
     # From: from address that will be in header
     notification_email_from admin@example.com
     smtp_server 127.0.0.1    # IP
     smtp_connect_timeout 30  # integer, seconds
     router_id my_hostname    # string identifying the machine,
                             # (doesn't have to be hostname).
     enable_traps             # enable SNMP traps
         }

  5.1 实例状态通知

      a) notify_master ：节点变为master时执行

      b) notify_backup ： 节点变为backup时执行

      c) notify_fault  ： 节点变为故障时执行

  5.2 虚拟服务器检测通知

      a) notify_up   ： 虚拟服务器up时执行

      b) notify_down  ： 虚拟服务器down时执行

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
示例：
     ! Configuration File  for  keepalived
     global_defs {
        notification_email {
          example@163.com
        }
        notification_email_from example@example.com 
        smtp_server 127.0.0.1
        smtp_connect_timeout 30
        router_id MYSQL_HA
     }
     vrrp_instance VI_1 {
         state BACKUP
         interface eth1
         virtual_router_id 50
         nopreempt            #当主down时，备接管，主恢复，不自动接管
         priority 100
         advert_int 1
         authentication {
             auth_type PASS
             ahth_pass 123
         }
         virtual_ipaddress {
             192.168.1.200
         }
             notify_master  /etc/keepalived/to_master .sh
             notify_backup  /etc/keepalived/to_backup .sh
             notify_fault  /etc/keepalived/to_fault .sh
     }
     virtual_server 192.168.1.200 3306 {
         delay_loop 6
         persistence_timeout 50
         protocol TCP
         real_server 192.168.1.201 3306 {
             weight 1
             notify_up  /etc/keepalived/mysql_up .sh
             notify_down  /etc/keepalived/mysql_down .sh    
             TCP_CHECK {
                 connect_timeout 3
                 nb_get_retry 3
                 delay_before_retry 3
             }
         }
     }

状态参数后可以是bash命令，也可以是shell脚本，内容根据自己需求定义，以上示例中所涉及状态脚本如下：

1) 当服务器改变为主时执行此脚本

1
2
3
4
5
6
# cat to_master.sh 
#!/bin/bash
Date=$( date  +%F " " %T)
IP=$( ifconfig  eth0 | grep  "inet addr"  | cut  -d ":"  -f2 | awk  '{print $1}' )
Mail= "baojingtongzhi@163.com"
echo  "$Date $IP change to master."  |mail -s  "Master-Backup Change Status"  $Mail

2) 当服务器改变为备时执行此脚本

1
2
3
4
5
6
# cat to_backup.sh
#!/bin/bash
Date=$( date  +%F " " %T)
IP=$( ifconfig  eth0 | grep  "inet addr"  | cut  -d ":"  -f2 | awk  '{print $1}' )
Mail= "baojingtongzhi@163.com"
echo  "$Date $IP change to backup."  |mail -s  "Master-Backup Change Status"  $Mail

3) 当服务器改变为故障时执行此脚本

1
2
3
4
5
6
# cat to_fault.sh
#!/bin/bash
Date=$( date  +%F " " %T)
IP=$( ifconfig  eth0 | grep  "inet addr"  | cut  -d ":"  -f2 | awk  '{print $1}' )
Mail= "baojingtongzhi@163.com"
echo  "$Date $IP change to fault."  |mail -s  "Master-Backup Change Status"  $Mail

4) 当检测TCP端口3306为不可用时，执行此脚本，杀死keepalived，实现切换

1
2
3
4
5
6
7
# cat mysql_down.sh
#!/bin/bash
Date=$( date  +%F " " %T)
IP=$( ifconfig  eth0 | grep  "inet addr"  | cut  -d ":"  -f2 | awk  '{print $1}' )
Mail= "baojingtongzhi@163.com"
pkill keepalived
echo  "$Date $IP The mysql service failure,kill keepalived."  |mail -s  "Master-Backup MySQL Monitor"  $Mail

5) 当检测TCP端口3306可用时，执行此脚本

1
2
3
4
5
6
# cat mysql_up.sh
#!/bin/bash
Date=$( date  +%F " " %T)
IP=$( ifconfig  eth0 | grep  "inet addr"  | cut  -d ":"  -f2 | awk  '{print $1}' )
Mail= "baojingtongzhi@163.com"
echo  "$Date $IP The mysql service is recovery."  |mail -s  "Master-Backup MySQL Monitor"  $Mail