开发者学堂课程【LVS负载均衡实战:LVS的DR模型实战应用】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/553
LVS的DR模型实战应用
一、实验:实现单网络的DR的LVS
实现 DR 模型,LVS在DR模型中配置特性是要有VIP,如果 RS1,RS2,LVS 都在同一网段,根据如图 top结构进行从左到右配置。
1、配置客户端机器:
#vie0 //更改IPADDR=172.20.0.222,增加网关GATEWAY=172.20.0.200
#hostname client //更改主机名
#service network restarts
2、配置路由器:
#vie0 //更改地址IPADDR=192.168.30.200
#cp ifcfg-eth0 ifcfg-eth1 //生成另外一个网卡
#vim ifcfg-eth1 //更改eth1为eth2,IPADDR=172.20.0.200,PREFIX=16
#vim /etc/udev/rules.d/ 70- persistent-net. rules //删掉eth1的记录,将NAME=eth0改为eth1
3、配置 LVS 服务器:
#hostnamectl set-hostname lvs
#vie0 //添加GATEWAY=192.168.30.200,修改IPADDR=192.168.30.100
#service network restarts
#ip a //可看到以获取地址192.168.30.100
#ip a a 192.168.30.7/24 dev eh0:1 //在其上绑定 vip 地址
#ip a //可查看到inet 192.168.30.7/24
#ipvsadm -Ln //可查看到
4、增加路由:
#vim/etc/sysctl.conf //改变为ip_forward=1
#sysctl -p //生效下
5、此时测试两台机器能否 ping 通:
由里向外
[root@lvs~]#ping 172.20.0.222
PING 172.20.0.222 (172.20.0.222) 56(84) bytes of data.
64 bytes from 172.20.0.222: icmp_seq=1 ttl=63 time=3.49 ms
64 bytes from 172.20.0.222: icmp_seq=2 ttl=63 time=1.07 ms
--- 172.20.0.222 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 1.076/2.287/3.498/1.211 ms
由外向里
[rootecentos6. Desktop]#ping 192 .168.30.7
PING 192.168.30.7 (192.168.30.7) 56(84) bytes of data.
64 bytes from 192.168.39.7: icmp_seq=1 ttl=63 tine=1.12 ms
64 bytes from 192.168.30.7: icmp_seq=2 ttl=63 time=1.03 ms
^C
--- 192.168.30.7 ping statistics ---
2 packets transmitted. 2 received, 的packet loss, time 1566ms
rtt min/avg/max/mdev = 1. 030/1.079/1.129/0.059 ms
测试互 ping 成功
两台机器 ip 地址配好了未配网关,192.168.30.17中#vie0添加网关GATEWAY=192.168.30.200,#service network restarts。同理192.168.30.27添加网关GATEWAY=192.168.30.200。
此时172.20.0.222可成功ping通.27和.17,相互间网络联通。
6、解决 VIP 地址冲突
LVS-DR
◆DR模型中各主机上均需要配置 VIP ,解决地址冲突的方式有三种:
(1)在前端网关做静态绑定
(2)在各 RS 使用 arptables
(3)在各 RS 修改内核参数,来限制 arp 响应和通告的级别
◆限制响应级别: arp_ignore
0 :默认值,表示可使用本地任意接口,上配置的任意地址进行响应
1:仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时,才给予响应
◆限制通告级别: arp_ announce
0 :默认值,把本机所有接口的所有信息向每个接 C 的网络进行通告
1 :尽量避免将接口信息向非直接连接网络进行通告
2 :必须避免将接口信息向非本网络进行通告
7、下面开始 RS 相关配置:
RS 的 VIP 地址可以绑在网卡上,事实 VIP 一般不绑在物理网卡上而是回环网卡上,回环网卡意味着 lo 网卡,这个地址用于接收远程用户发请求,不会抛弃原拥有数据包,因此配置的时候比较特殊,
但是直接配 VIP 可能与原来 VIP 产生冲突,为了避免冲突要改两个内核参数,可locate找到内核文件,
又因为内存文件放不进locate,所以可以find /proc/sys |grep arp_ignore查找annouce或者ignore路径, 将 arp_ i gnore 配置成1只回答本地主机报文请求,
arp_ announce 配置成2不向外公布自身地址,如果是永久改还要写到conf文件里面,下面采用临时更改,
在回环网卡做IP地址配置,所以改lo,也可以为了更稳妥加个all,表示所有arp_ announce 都不对外公布自身地址,192.168.30.17配置如下:
#echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ ignore
#echo 1 > /proc/sys/net/ ipv4/conf/all/arp_ ignore
#echo 2 > /proc/ sys/net /ipv4/conf/all/arp_ announce
#echo 2 > /proc/sys/net/ipv4/conf/lo/arp_ announce
#ip a a 192.168.30.7/32 dev lo //32表示这个网络只有一台主机
#hostnamectl set-hostname RS1
虚拟VIP配置完成,192.168.30.27中重复上述操作。
安装http服务:
#yy httpd
#echo RS 1>/var /www/html /index . html
#systemctl start httpd //192.168.30.27中重复上述操作。
此时在远程主机172.20.0.222上#curl 192.168.30.27和#curl 192.168.30.17成功访问:RS1,RS2,LVS访问不通RS1,2则不影响,因为真正中不可能在LVS中访问RS1,2,都是通过远程服务机上调度LVS进行访问RS1,RS2。
8、在LVS服务器配置调度策略:
192.168.30.7中配置
#yum install ipvsadm //安装工具
[root@lvs ~]#ipvsadm -A -t 192.168.30.7:80 -s rr
[root@lvs ~]#ipvsadm -a -t 192.168.30.7:80 -r 192 .168.30.17
//17后不用再定义端口号80,因为DR模型不支持端口映射,不写则是默认DR模型,-g
[ root@lvs~]#ipvsadm -a -t 192.168.30.7:80 -r 192.168 .30.27
[root@lvs ~]#ipvsadm -Ln
IP virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:port Scheduler Flags
->RemoteAddress:port Forward Weight ActiveConn InActConn
TCP 192.168.30.7 :80 rr
-> 192.168.30.17 :80 Route 1 0 0
->192.168.30.27 :80 Route 1 0 0
在172.20.0.222中测试成功如下:
[root@client ~]#cur1 192.168.30.7
RS1
[root@client ~]#cur1 192.168.30.7
RS2
9、模型中LVS的物理网关
router上请求报文到LVS,回来时不走再走这条路,所以理论上GATEWAY没有意义。
如果把lvs网关盖掉:[root@lvs ~]#route -n,然后[root@client ~]#cur1 192.168.30.7,则一直可以循环访问RS1 ,RS2。再删掉[root@lvs ~]#route del default gw 192.168.30.200,则立即停止访问。所以需要配置网关,
新配置网关如下:
[ root@lvs ~]#route add default gw 192.168.30.111 //环境不干净,client任无法访问
[ root@lvs ~]#ipvsadm-save -n >f1 //save存盘到f1
[ root@lvs ~]#reboot
因为RS2还是之前的地址有冲突,放在eth0上,所以此时还未调用策略便已经对外发布出,开始只访问RS2,最好放在lo上。
[root@rs2 -]#ip ad del 192.168.30.7/24 dev eth0
[root@rs2 -]#ip ad add 192.168.30.7/32 dev lo
[ root@rs2 -]#ip a //可查看到成功加入inet 192.168.30.7/32
把规则重新加载到lvs:
[ root@lvs ~]#ipvsadm -Ln
[ root@lvs ~]# ipvsadm -restore < f1
[ root@lvs ~]# ip a //因为机器重启所以没有vip地址
[ root@lvs ~]ip addr a 192.168.30.7/32 dev lo
[ root@lvs ~]#route del default gw 192.168.30.200 //删掉原来的路由
[ root@lvs ~]#route add default gw 192. 168.30.111 //增加新的路由
[ root@lvs ~]#vie0 //更改GATEWAY=192.168.30.111
[ root@lvs ~]#systemctl restart network
[ root@lvs ~]#ip addr a 192.168.30.7/32 dev lo
此时再次成功访问RS1,RS2。得知LVS物理网关需要配,因为
clientcip远程主机ip,访问LVS时没有网关会认为无法通信,但可以随便配。
二、总结
关键配置,首先 LVS 服务器必须要有 VIP,DIP 必须配,DAREWAY 必须加,在一个网段随便配,接下来,在 2RS 服务器上要设置。
在一个网段下有一个缺点Rip,Vip都是公网地址,对外用户不需要访问公网地址,只要访问Vip不需要Rip,Rip使用的共有地址就是浪费,还存在外来直接访问RSip的风险,所以真正生产环境来讲两个网段,就是说LVS是公网地址,RSip 以及 Dip 都是私网地址,这样才合理。
三、RS 和 VS 的配置脚本
1、RS 的配置脚本
#!/bin/bash
vip= 10.0.0.100
mask =’255.255.2551255 '
dev=lo;1
case$1 in
start)
echo 1 > /proc/sys/net/ipv4/confall/arp. ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp. ignore
echo2 > /proc/sys/net/ipv4/conf/all/arp. announce
echo2 > /proc/sys/net/ipv4/conf/lo/arp_ announce
ifconfig $dev $vip netmask $mask #broadcast $vip up
#route add -host $vip dev $dev
;;
stop)
ifconfig $dev down
echo0 > /proc/sys/net/ipv4/conf/all/arp. ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp. ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_ announce
echo 0 > /proc/sys/net/ipv4/conf/lo/arp. Announce
;;
*)
echo "Usage: $(basename $0) startlstop"
exit 1
;;
Esac
2、VS的配置脚本
#!/bin/bash
vip='10.0.0.100'
iface='eth0:1'
mask=' 255.255.255.255'
port= '80'
rs1 ='192.168.0.101'
rs2='192.168.0.102'
scheduler-'wrr*
type='-9'
case$1 in .
start)
ifconfig $iface $vip netmask $mask #broadcast $vip up
iptables-F
ipvsadm -A -t ${vip};${port} -s $scheduler
ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -W 1
ipvsadm -a -t ${vip):${port} -r ${rs2} $type -W 1
;;
stop)
ipvsadm -C
ifconfig $iface down
;;
*)
echo "Usage $(basename $0) start|stop "
exit 1
esac