Ubuntu构建LVS+Keepalived高可用负载均衡集群【生产环境部署】

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
网络型负载均衡 NLB,每月750个小时 15LCU
应用型负载均衡 ALB,每月750个小时 15LCU
简介:

1、环境说明:

系统版本:Ubuntu 14.04

LVS1物理IP14.17.64.2   初始接管VIP14.17.64.13

LVS2物理IP14.17.64.3   初始接管VIP14.17.64.14

真实web服务器IP14.17.64.4-12

实现效果:去往14.17.64.1314的报文,转发给14.17.64.4-12中的一台服务器处理,实现负载均衡。

要求1:当一台真实web服务器故障后,自动把该IP从负载均衡中踢除,恢复后自动加入集群。

要求2:当一台LVS服务器故障后,正常的LVS服务器会接管故障LVS服务器上的VIP,故障恢复后自动抢占回VIP,继续负载分担。


2、安装LVSKeepalived

#aptitude install ipvsadm          #安装lvs

#ipvsadm                             #加载lvsipvsadm的规则由keepalived来配置,所以安装即可,如果要对lvs手动配置详细了解,可参考我的另一篇文章:http://yangrong.blog.51cto.com/6945369/1574991

#aptitude install keepalived      #安装keepalived

#配置文件目录/etc/keepalived/keepalived.conf,默认并没有配置文件,需要手动创建。

#Keepalived配置文件详解参考地址:http://www.360doc.com/content/11/1228/16/834950_175607432.shtml

 

3、keepalived配置

此处是单台LVSkeepalived.conf的配置,另一台LVS上的keepalived.conf的配置文件,只需把下列红色与蓝色字体参数对换一下即可

配置文件如下:

! Configuration File for keepalived

vrrp_instance VI_1 {            #定义一个实例,keepalived间的高可用只能接管相同实例名称

    stateMASTER                 #指定Keepalived的角色,MASTER表示此主机是主服务器 BACKUP表示此主机是备用服务器,所以设置priority时要注意MASTERBACKUP高。

    interface p1p1              #指定监测网络的接口,当LVS接管时,将会把IP地址添加到该网卡上。

    virtual_router_id 51        #虚拟路由标识,同一个vrrp实例使用唯一的标识,同一个vrrp_instance下,MASTERBACKUP必须一致。

    priority120                 #指定这个实例优先级

advert_int 1                 #心跳报文发送间隔

#notify_master/path/xx.sh    #这个实例切换为master时执行的脚本

#notify_backup /path/xx.sh   #这个实例切换为backup时执行的脚本

#track_interface{            #设置额外的监控,里面某个网卡故障也会进行切换,这个一般用来监控上行链路

#eth1

#}

    authentication {

        auth_type PASS          #设置验证类型,主要有PASSAH两种

        auth_pass 1111          #设置验证密码,同一个vrrp_instance下,MASTERBACKUP的密码必须一致才能正常通信

    }

    virtual_ipaddress {         #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个

     14.17.64.13

    }

}

 

vrrp_instance VI_2 {            #定义另一个实例

    state BACKUP

    interface p1p1

    virtual_router_id 52

    priority 80

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

          14.17.64.14

    }

}

 

virtual_server 14.17.64.13 0 {     #设置虚拟服务器,需要指定虚拟IP地址和服务端口,IP与端口之间用空格隔开 

    delay_loop 6                   #设置运行情况检查时间,单位是秒

    lb_algo wrr                    #设置负载调试算法,这里设置为wrr即加权论询算法

    lb_kind DR                     #设置LVS实现负载均衡的机制,有NATTUNDR三个模式可选

    persistence_timeout 50         #设置会话保持时间,单位是秒

    protocol TCP                   #指定转发协议类型,有TCPUDP两种

 

    real_server 14.17.64.4 0 {     #配置服务节点1,需要指定real server的真实IP地址和端口

        weight 1                   #配置服务节点的权值,

        TCP_CHECK {

        connect_timeout 8          #表示8秒无响应超时

        nb_get_retry 3             #表示重试次数

        delay_before_retry 3       #表示重试间隔

        connect_port 80            #使用80端口进行保活

        }

         }

 

    real_server 14.17.64.5 0 {

        weight 1             

        TCP_CHECK {

        connect_timeout 8    

        nb_get_retry 3       

        delay_before_retry 3 

        #connect_port 80        

        }

         }       

#更多real_server略掉。

}

 

 

virtual_server 14.17.64.14 0 {    #设置虚拟服务器,需要指定虚拟IP地址和服务端口,IP与端口之间用空格隔开

    delay_loop 6                  #设置运行情况检查时间,单位是秒

    lb_algo wrr                   #设置负载调试算法,这里设置为wrr即加权论询算法

    lb_kind DR                    #设置LVS实现负载均衡的机制,有NATTUNDR三个模式可选

    persistence_timeout 50        #设置会话保持时间,单位是秒

    protocol TCP                  #指定转发协议类型,有TCPUDP两种

 

    real_server 14.17.64.4 0 {    #配置服务节点1,需要指定real server的真实IP地址和端口

        weight 1                  #配置服务节点的权值,

        TCP_CHECK {

        connect_timeout 8         #表示8秒无响应超时

        nb_get_retry 3            #表示重试次数

        delay_before_retry 3      #表示重试间隔

        connect_port 80        

        }

         }

 

    real_server 14.17.64.5 0 {

        weight 1             

        TCP_CHECK {

        connect_timeout 8     

        nb_get_retry 3       

        delay_before_retry 3 

        connect_port 80        

        }

         }       

#更多real_server略掉

}

 

4、真实服务器健康检查测试

    由于是线上环境,我不能通过关闭机器或网卡进行测试,但是他保活是通过tcp 80端口来保活的,所以只需关闭真实服务器上的http服务就OK

如下所示,关掉nginx服务后,果真从lvs负载里踢出了。

root@ubuntu:/etc/keepalived# ipvsadm-L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  14.17.64.13:0 wrr persistent50

  -> 14.17.64.4:0                 Route   1     0          0        

  -> 14.17.64.5:0                 Route   1     0          0        

  -> 14.17.64.6:0                 Route   1     0          0        

  -> 14.17.64.7:0                 Route   1     3          0         

  -> 14.17.64.8:0                 Route   1     0          0        

  -> 14.17.64.9:0                 Route   1     0          0        

  -> 14.17.64.10:0                Route   1     2          1        

  -> 14.17.64.11:0                Route   1     1          1        

  -> 14.17.64.12:0                Route   1     0          0        

TCP  14.17.64.14:0 wrr persistent50

  -> 14.17.64.4:0                 Route   1     0          0        

  -> 14.17.64.5:0                 Route   1      0         0        

  -> 14.17.64.6:0                 Route   1     0          0        

  -> 14.17.64.7:0                 Route   1     0          0        

  -> 14.17.64.8:0                 Route   1     0          0        

  -> 14.17.64.9:0                 Route   1     0          0        

  -> 14.17.64.10:0                Route   1     0          0        

  -> 14.17.64.11:0                Route   1     0          0        

  -> 14.17.64.12:0                Route   1      0         0        

root@ubuntu:/etc/keepalived# /etc/init.d/nginxstop

root@ubuntu:/etc/keepalived# ipvsadm-L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  14.17.64.13:0 wrr persistent50

  -> 14.17.64.4:0                 Route   1     0          0        

  -> 14.17.64.5:0                 Route   1     0          0        

  -> 14.17.64.6:0                 Route   1     0          0        

  -> 14.17.64.7:0                 Route   1     3          0        

  -> 14.17.64.8:0                 Route   1     0          0        

  -> 14.17.64.9:0                 Route   1     0          0        

  -> 14.17.64.11:0                Route   1     1          1        

  -> 14.17.64.12:0                Route   1     0          0        

TCP  14.17.64.14:0 wrr persistent50

  -> 14.17.64.4:0                 Route   1     0          0        

  -> 14.17.64.5:0                 Route   1     0          0        

  -> 14.17.64.6:0                 Route   1     0          0        

  -> 14.17.64.7:0                 Route   1     0          0        

  -> 14.17.64.8:0                 Route   1     0          0        

  -> 14.17.64.9:0                 Route   1     0          0         

  -> 14.17.64.11:0                Route   1     0          0        

  -> 14.17.64.12:0                Route   1     0          0  

 

启动真实服务器上nginx后,该真实服务器又加入ipvsadm转发规则中。

root@ubuntu:/etc/keepalived# /etc/init.d/nginxstart

root@ubuntu:/etc/keepalived# ipvsadm-L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  14.17.64.13:0 wrr persistent50

  -> 14.17.64.4:0                 Route   1     0          0        

  -> 14.17.64.5:0                 Route   1     0          0        

  -> 14.17.64.6:0                 Route   1     0          0        

  -> 14.17.64.7:0                 Route   1     3          0        

  -> 14.17.64.8:0                 Route   1     0          0        

  -> 14.17.64.9:0                 Route   1     0          0        

  -> 14.17.64.10:0                Route   1     1          1        

  -> 14.17.64.11:0                Route   1      0         0        

  -> 14.17.64.12:0                Route   1     0          0        

TCP  14.17.64.14:0 wrr persistent50

  -> 14.17.64.4:0                 Route   1     0          0        

  -> 14.17.64.5:0                 Route   1     0          0        

  -> 14.17.64.6:0                 Route   1     0          0        

  -> 14.17.64.7:0                 Route   1     0          0        

  -> 14.17.64.8:0                 Route   1     0          0        

  -> 14.17.64.9:0                 Route  1      0          0        

  -> 14.17.64.10:0                Route   1     0          0        

  -> 14.17.64.11:0                Route   1     0          0        

  -> 14.17.64.12:0                Route   1     0          0  

 

从测试结果得知,keepalived真实服务器保活测试成功。

 

5、LVS高可用自动切换测试

由于都是在IDC机房服务器上操作,不可能断掉网卡,所以重启一台LVS服务器。

 

VIP接管查看:

其中一台LVS接管了14.17.64.14

root@ubuntu:~# ip add |grep14.17.64

    inet 14.17.64.2/24 brd14.17.64.255 scope global p1p1

    inet 14.17.64.14/32 scopeglobal p1p1

 

另一台LVS接管了14.17.64.13

root@ubuntu:/etc/keepalived# ipadd |grep 14.17.64

    inet 14.17.64.3/24 brd14.17.64.255 scope global p1p1

    inet 14.17.64.13/32 scopeglobal p1p1

 

ipvsadmkeepalived加入开机自启动:

#cat  /etc/rc.local

ipvsadm

/etc/init.d/keepalived start

 

重启14.17.64.3服务器查看VIP切换情况:

经过测试,重启几秒钟后,14.17.64.2服务器就把VIP 14.17.64.13接管了过来。同时使用ssh登录14.17.64.13测试,能够正常的转发。

root@ubuntu:~# ip add|grep 14.17.64

    inet 14.17.64.2/24 brd14.17.64.255 scope global p1p1

    inet 14.17.64.14/32 scopeglobal p1p1

    inet 14.17.64.13/32 scopeglobal p1p1

 

root@ubuntu:~# ipvsadm -L -c      #从这儿可以看出,14.17.64.13转发到10真实服务器上。

IPVS connection entries

pro expire state      source             virtual            destination

TCP 14:58  ESTABLISHED242.103.143.219.broad.bj.bj.dynamic.163data.com.cn:54106 14.17.64.13:62222  14.17.64.10:62222

 

lvs服务器重新启动之后,还会把VIP抢占回来

root@ubuntu:~# ip add|grep 14.17.64

    inet 14.17.64.2/24 brd14.17.64.255 scope global p1p1

    inet 14.17.64.14/32 scopeglobal p1p1

 

到此,LVS+Keepalived高可用搭建完成,并能实现多端口的转发(即转发所有TCP端口)。


思考:

此处只部署了两台LVS,如果要部署更多LVS,也是同样的配置,因为keepalived的心跳报文是广播的,所以只要在同一个局域网内,无论多少个keepalived程序都能够进行选举与VIP接管。





     本文转自杨云1028 51CTO博客,原文链接:http://blog.51cto.com/yangrong/1575909 ,如需转载请自行联系原作者





相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
10天前
|
运维 负载均衡 网络协议
LVS+Keepalived 负载均衡
LVS+Keepalived 负载均衡
34 1
LVS+Keepalived 负载均衡
|
8天前
|
域名解析 运维 负载均衡
LVS+Keepalived 负载均衡(二)28-1
【8月更文挑战第28天】LVS+Keepalived 负载均衡 配置 LVS VIP
23 5
|
2月前
|
负载均衡 算法 应用服务中间件
负载均衡技术在Web服务器集群中的应用
【8月更文第28天】随着互联网的发展和用户对Web服务需求的增长,单台服务器很难满足大规模访问的需求。为了提高系统的稳定性和扩展性,通常会采用Web服务器集群的方式。在这种架构中,负载均衡器扮演着至关重要的角色,它能够合理地分配客户端请求到不同的后端服务器上,从而实现资源的最优利用。
75 2
|
2月前
|
负载均衡 算法 关系型数据库
MySQL集群如何实现负载均衡?
【8月更文挑战第16天】MySQL集群如何实现负载均衡?
74 6
|
2月前
|
负载均衡 网络协议
使用LVS搭建集群实现负载均衡(二)安装使用
【8月更文挑战第8天】使用LVS搭建集群实现负载均衡(二)安装使用
43 4
|
5月前
|
负载均衡 算法 应用服务中间件
面试题:Nginx有哪些负载均衡算法?Nginx位于七层网络结构中的哪一层?
字节跳动面试题:Nginx有哪些负载均衡算法?Nginx位于七层网络结构中的哪一层?
113 0
|
4月前
|
缓存 负载均衡 算法
解读 Nginx:构建高效反向代理和负载均衡的秘密
解读 Nginx:构建高效反向代理和负载均衡的秘密
100 2
|
3月前
|
负载均衡 算法 应用服务中间件
nginx自定义负载均衡及根据cpu运行自定义负载均衡
nginx自定义负载均衡及根据cpu运行自定义负载均衡
38 1
|
3月前
|
运维 负载均衡 算法
SLB与NGINX的异同是什么
SLB与NGINX的异同是什么
171 2
|
5月前
|
负载均衡 应用服务中间件 nginx
解决nginx配置负载均衡时invalid host in upstream报错
在Windows环境下,配置Nginx 1.11.5进行负载均衡时遇到问题,服务无法启动。错误日志显示“invalid host in upstream”。检查发现上游服务器列表中,192.168.29.128的主机地址无效。负载均衡配置中,两个服务器地址前误加了"http://"。修正方法是删除上游服务器列表和proxy_pass中的"http://"。问题解决后,Nginx服务应能正常启动。
342 4
解决nginx配置负载均衡时invalid host in upstream报错
下一篇
无影云桌面