LB集群之LVS-阿里云开发者社区

开发者社区> 开发与运维> 正文

LB集群之LVS

简介:

LB 集群是 load balance(负载均衡)集群的简写,常用的负载均衡开源软件有 nginx、lvs、keepalived ,商业的硬件负载设备 F5、Netscale。 

LB 集群的架构如下图,原理也很简答,就是当用户的请求过来时,会直接发到分发器(Director Server)上,然后它把用户的请求根据预先设置好的算法,智能均衡地分发到后端的真正服务器(real server)上。如果不同的机器,可能用户请求到的数据不一样,为了避免这样的情况发生,所以用到了共享存储,这样保证所有用户请求的数据是一样的。 

wKioL1YT0x_gFssEAAGT9b8g33E671.jpg

LVS 是一个实现负载均衡集群的开源软件项目,LVS 架构从逻辑上可分为调度层(Director)、server 集群层(Real server)和共享存储。LVS 从实现上分为下面三种模式。 

(1)NAT(调度器将请求的目标 ip 即 vip 地址改为 Real server 的 ip, 返回的数据包也经过调度器,调度器再把源地址修改为 vip)。 

(2)TUN(调度器将请求来的数据包封装加密通过 ip 隧道转发到后端的 real server 上,而 real server 会直接把数据返回给客户端,而不再经过调度器)。 

(3)DR(调度器将请求来的数据包的目标 mac 地址改为 real server 的 mac 地址,返回的时候也不经过调度器,直接返回给客户端)。


一、NAT模式


1、准备工作

准备三台机器,一台Director server(简写为dir),两台Real server(简写为rs1,rs2)。

dir有两块网卡,IP配置为:

eth0 192.168.0.109(内网)
eth1 192.168.1.109(外网)

rs1网卡IP配置为:

eth0 192.168.0.112(内网)

rs2网卡IP配置为:

eth0 192.168.0.113(内网)


2、安装软件

在dir上安装ipvsadm

[root@dir ~]# yum install -y ipvsadm

因为要验证80端口,我们可以安装httpd或者nginx,这里我在rs1和rs2上都安装nginx进行验证

# yum install -y nginx


3、dir上配置NAT

[root@dir ~]# vim /usr/local/sbin/lvs_nat.sh  //写入以下内容
#! /bin/bash
# director 服务器上开启路由转发功能:  
echo 1 > /proc/sys/net/ipv4/ip_forward  
# 关闭 icmp 的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects
# director 设置 nat 防火墙
iptables -t nat –F
iptables -t nat –X
iptables -t nat -A POSTROUTING -s 192.168.0.0/24  -j MASQUERADE
# director 设置 ipvsadm
IPVSADM='/sbin/ipvsadm'
$IPVSADM –C
$IPVSADM -A -t 192.168.1.109:80 -s rr
$IPVSADM -a -t 192.168.1.109:80 -r 192.168.0.112:80 -m
$IPVSADM -a -t 192.168.1.109:80 -r 192.168.0.113:80 -m

执行脚本

[root@dir ~]# sh /usr/local/sbin/lvs_nat.sh

查看规则

[root@dir ~]# ipvsadm -ln

wKiom1YVD_-DBkaJAAFayCwnjzg673.jpg


4、rs1和rs2上配置网关(这步非常关键)

# vim /etc/sysconfig/network-scripts/ifcfg-eth0   
GATEWAY=192.168.0.109
# ifdown eth0; ifup eth0

这样rs1和rs2就能与dir的eth1不同的网段实现通信了。


5、rs1和rs2都开启80端口

# /etc/init.d/nginx start

查看80端口是否开启成功

# netstat -lnp


6、测试

首先都要关闭防火墙

# iptables -F

然后我们修改下nginx的默认页面

rs1上

echo "rs1 nginx" > /usr/share/nginx/html/index.html

rs2上

echo "rs2 nginx" > /usr/share/nginx/html/index.html

接着在dir上测试

[root@dir ~]# curl 192.168.1.109
rs2 nginx
[root@dir ~]# curl 192.168.1.109
rs1 nginx
[root@dir ~]# curl 192.168.1.109
rs2 nginx
[root@dir ~]# curl 192.168.1.109
rs1 nginx

由上可知rs1和rs2轮换提供服务。


7、修改权重

这里我们也可以修改权重,比如rs1权重为1,rs2权重为2。

[root@dir ~]# vim /usr/local/sbin/lvs_nat.sh  //修改以下内容
$IPVSADM -A -t 192.168.1.109:80 -s wrr
$IPVSADM -a -t 192.168.1.109:80 -r 192.168.0.112:80 -m -w 1
$IPVSADM -a -t 192.168.1.109:80 -r 192.168.0.113:80 -m -w 2
[root@dir ~]# ipvsadm -C
[root@dir ~]# sh /usr/local/sbin/lvs_nat.sh

测试下

[root@dir ~]# curl 192.168.1.109
rs1 nginx
[root@dir ~]# curl 192.168.1.109
rs2 nginx
[root@dir ~]# curl 192.168.1.109
rs2 nginx
[root@dir ~]# curl 192.168.1.109
rs1 nginx
[root@dir ~]# curl 192.168.1.109
rs2 nginx
[root@dir ~]# curl 192.168.1.109
rs2 nginx



二、DR模式


1、说明

DR模式的一台Director server和两台Real server都要是公网IP,其缺点就是比较浪费公网IP。所以我们在这里的IP都视为公网IP

dir网卡IP配置为:

eth0 192.168.0.109(外网)

rs1网卡IP配置为:

eth0 192.168.0.112(外网)

rs2网卡IP配置为:

eth0 192.168.0.113(外网)


2、清空之前NAT模式下的规则

[root@dir ~]# ipvsadm -C
[root@dir ~]# iptables -t nat -F


3、改回rs1和rs2的网关

GATEWAY=192.168.0.1
ifdown eth0; ifup eth0


4、配置dir

现在不用eth1网卡,所以我们down掉eth1网卡

[root@dir ~]# ifdown eth1

配置脚本

[root@dir ~]# vim /usr/local/sbin/lvs_dr.sh
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.0.110
rs1=192.168.0.112
rs2=192.168.0.113
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv –C
$ipv -A -t $vip:80 -s rr  
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

执行脚本

[root@dir ~]# sh /usr/local/sbin/lvs_dr.sh

查看

[root@dir ~]# ipvsadm -ln

wKiom1YVIMKR0S8ZAAFTn4jn8ic411.jpg


也可以用ifconfig查看到已经启动了eth0:0这个vip


5、配置rs1和rs2

在rs1和rs2上配置如下一样的脚本

# vim /usr/local/sbin/lvs_rs.sh    //写入如下内容
#! /bin/bash
vip=192.168.0.110
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up  
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

在rs1和rs2上都执行脚本

# sh /usr/local/sbin/lvs_rs.sh

可以用ifconfig查看到已经启动了lo:0这个vip,也可以用ipvsadm -ln查看详情。


6、测试

(1)打开另外一台新机器来测试结果如下:

wKiom1YVJNHAaDpsAAD_B9qiWjk129.jpg


(2)测试权重

编辑dir上的脚本,修改权重:rs1权重为2,rs2权重为1。

[root@dir ~]# vim /usr/local/sbin/lvs_dr.sh   //修改以下
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.0.110
rs1=192.168.0.112
rs2=192.168.0.113
ifconfig eth0:0 down            //因为之前执行脚本已经生成过eth0:0,故down掉
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv –C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 2
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
[root@dir ~]# ipvsadm -C
[root@dir ~]# sh /usr/local/sbin/lvs_dr.sh

在新机器上测试结果如下图

wKioL1YWVVzgfmHqAAIhPrMubzQ052.jpg




三、LVS结合keepalived


前面的lvs虽然已经配置成功也实现了负载均衡,但是我们测试的时候发现,当某台real server把nginx停掉,那么 director server照样会把请求转发过去,这样就造成了某些请求不正常。所以需要有一种机制用来检测 real server 的状态,这就是 keepalived。它的作用除了可以检测 RS 状态外,还可以检测备用 director 的状态,也就是说 keepalived 可以实现 ha 集群的功能,当然了也需要一台备用 director server。

1、前提准备

主dir: eth0 192.168.0.109
备dir1: eth0 192.168.0.104
rs1: eth0 192.168.0.112
rs2: eth0 192.168.0.113
vip: 192.168.0.110

因为前面我们已经配置过一些操作,而下面我们使用 keepaliave 操作会和之前的操作是有些冲突,所以先做一些预先处理。 在主dr上执行: 

[root@dir ~]# ipvsadm -C
[root@dir ~]# ifconfig eth0:0 down


2、安装

在主dr和备dir1上都安装keepalived

# yum install -y keepalived

同时也都安装ipvsadm,因为主dir之前安装配置过,故只需配置备dir1。

[root@dir1 ~]# yum install -y ipvsadm


3、配置

在主dr上配置

[root@dir ~]# echo "" > /etc/keepalived/keepalived.conf   //先清空默认配置
[root@dir ~]# vim /etc/keepalived/keepalived.conf         //再添加如下内容
vrrp_instance VI_1 {
   state MASTER        #如果是备用服务器,这里改为 BACKUP
   interface eth0
   virtual_router_id 51
   priority 100        #如果是备用服务器,这里改为 90(少于100即可)
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 1111
   }
   virtual_ipaddress {
       192.168.0.110    #vip
   }
}
virtual_server 192.168.0.110 80 {
   delay_loop 6                        #(每隔 10 秒查询 realserver 状态)
   lb_algo wlc                         #(lvs 算法)
   lb_kind DR                          #(Direct Route)
   persistence_timeout 60              #(同一 IP 的连接 60 秒内被分配到同一台realserver)
   protocol TCP                        #(用 TCP 协议检查 realserver 状态)
  real_server 192.168.0.112 80 {
       weight 100          
       TCP_CHECK {
       connect_timeout 10              #(10 秒无响应超时)
       nb_get_retry 3
       delay_before_retry 3
       connect_port 80
       }
   }
  real_server 192.168.0.113 80 {
       weight 100
       TCP_CHECK {
       connect_timeout 10
       nb_get_retry 3
       delay_before_retry 3
       connect_port 80
       }
    }
}

在备dr1上配置

拷贝主上文件到从上

[root@dir1 ~]# scp 192.168.0.109:/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf
[root@dir1 ~]# vim /etc/keepalived/keepalived.conf   //找到标红两处,修改为以下参数
state BACKUP
priority 90


4、查看

分别在主备上都查看

ipvsadm -ln    //没有ipvsadm规则
ip addr      //没有虚拟ip:eth0:0的。eth0只有一个ip。


5、开启端口转发(主从都要做)

# echo 1 > /proc/sys/net/ipv4/ip_forward

然后在两个 rs 上都执行/usr/local/sbin/lvs_rs.sh 脚本 

# bash /usr/local/sbin/lvs_rs.sh


6、启动 keepalived 服务(先主后从) 

# /etc/init.d/keepalived start


7、再查看

接着都在主备上查看

ipvsadm -ln    //可看到已经产生ipvsadm规则

wKioL1YWaWfxYVLuAAF3Hr_yXN4042.jpg

ip addr    //产生虚拟ip:eth0:0


8、测试

用第五台机器curl测试192.168.0.110,可以发现是平均请求rs1和rs2的nginx主页面。



      本文转自 M四月天 51CTO博客,原文链接:http://blog.51cto.com/msiyuetian/1700710,如需转载请自行联系原作者






版权声明:本文首发在云栖社区,遵循云栖社区版权声明:本文内容由互联网用户自发贡献,版权归用户作者所有,云栖社区不为本文内容承担相关法律责任。云栖社区已升级为阿里云开发者社区。如果您发现本文中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,阿里云开发者社区将协助删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章