初识LVS(二)——LVS的DR工作模式

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
EMR Serverless StarRocks,5000CU*H 48000GB*H
网络型负载均衡 NLB,每月750个小时 15LCU
简介:

LVS的DR模式介绍

LVS在NAT模式下所有的请求和响应报文都需要经过director,尽管LVS工作在内核层不受套接字文件65535的数量限制,但也有可能会成为性能瓶颈(如视频网站),以下介绍LVS的另一种工作模式——dr模式,它是LVS默认的工作模式。与nat模式通过单边修改源或目标的IP地址实现负载均衡功能不同,dr模式则是通过修改mac地址来实现该功能,整个过程中源和目标的IP地址不发生变法。

LVS的dr模式工作原理

与nat模式下LVS负载均衡器充当内网中RS服务器的网关不同,dr模式下LVS负载均衡器和RS主机各自只需要一块网卡并接在同一个交换机下

wKioL1m0ui3AWbuRAABd11w9tfY185.png

我们将客户端向服务器端发出请求,经过网络上路由器层层转发后,到达LVS服务器所在网络的接口IP地址设为CIP,此时数据报文中源地址是CIP;目标地址是VIP

wKiom1m0ulKQId3wAABjtW-p4jw870.png

由于本地网络中计算机之间是通过mac地址进行通信,此时路由器的CIP接口会向本地网络发出广播索要VIP接口的mac地址,VIP接口接收到广播后上报自己的mac地址,数据报文在IP地址上再封装一层mac地址后发送给LVS负载均衡器

wKioL1m0ui3CmmG3AAB83lvVHPI151.png

LVS负载均衡器在接收到请求后拆掉mac地址,根据设置的调度规则,选定一个服务器(以服务器1为例),并将目标mac地址改为RIP1的mac地址后发还给路由器的CIP接口,此处需要注意的是director只能通过DIP与realserver通信,所以LVS负载均衡器上同时还要配置一个DIP地址

wKiom1m0ulKBib24AAB81CE3DhQ024.png

路由器的CIP接口在接收到修改过目标mac地址的报文后从新将数据报发给新mac地址所对应的服务器1,当服务器1接收到请求后拆掉mac报发现请求的地址是VIP,所以realserver上还需要配置VIP地址,否则请求将会被丢弃,且realserver的VIP地址绑在回环接口上,避免地址发生冲突,与此同时又引入一个新问题:在之前过程中广播寻找VIP地址时director和realserver都会相应,通过修改realserver内核参数避免这种情况的产生

wKiom1m0ulKi6CZVAAB3tYS3KSk802.png

服务器处理完请求后直接将结果返回给客户端而不再经过director

wKioL1m0ui7DmxO2AABy27SUeQY155.png

arp抑制功能

realserver为了避免在本地网络中广播索要VIP的mac地址时,需要修改内核参数开启arp抑制功能,修改的参数是arp_announce和arp_ignore,下面分别进行说明。

1.arp_announce

主动向外通告计算机所有的IP地址,arp_announce有0、1、2三个值,0为默认值,如下图所示,1.1会向1.2通告所有的IP地址包括2.1和3.1,同理2.1和3.1也会向各自所在的网段通告本机所有的IP,由于realserver不能和director去抢着响应VIP的广播,所以在realserver上需要将arp_announce值设置为2

wKiom1m0ulWy3MZ4AARV3BsEWOY361.png

2.arp_ignore

请求从哪个接口进来该接口才做出响应,其余接口不做响应,以上图为例,请求从1.1接口进来,所以只有1.1接口做出回应,2.1和3.1接口不做响应,arp_ignore有9个值,0为默认值,如下图所示,此处需要将arp_ignore值设置为1,另外需要注意的是arp抑制的操作应在给realserver设置VIP之前完成

wKioL1m0ujeQGFEzAAmfzlm-uQY308.png

总结

1.lvs-dr模式它通过修改请求报文的目标MAC地址进行转发,请求报文经由director调度,响应报文不经过director 

2.director上配置DIP和VIP,realserver上配置RIP和VIP,同时启用realserver的arp抑制功能

3.realserver跟director必须在同一物理网络中,可以是不同的vlan,只要中间没有路由设备;RS的RIP可以使用私有地址但也可以使用公网地址

4.因为响应报文不经过director,所以不支持端口映射;

5.realserver可以大多数支持设置arp抑制的系统;

6.realserver的网关不能指向DIP

操作步骤

网络拓扑

wKiom1m0ulzyVtE_AAByp6DEJZE489.png

LVS负载均衡器和web服务器系统版本均为CentOS6.8,LVS负载均衡器有1张网卡,VIP地址配置在本地接口别名上,安装ipvsadm作为director,web服务器为realserver,安装httpd提供页面服务,VIP配置在本地回环接口别名上,此处便于演示效果让2台web服务器页面不一致,安装步骤省却。

操作步骤

1.将VIP地址设置在director本地接口别名或回环接口上(本地网络中是通过广播寻找VIP地址,所以在那个接口无所谓,如果使用ip addr add命令可以直接在eth0上设置多个地址),并查看是否生效

wKioL1m0ujiw9mZzAABy_fBERME945.png2.指定LVS的director服务器,并选择调度模式;指定realserver服务器并设置数据转发类型,查看设置是否生效

wKiom1m0ulzB6d5ZAABJKkqfA1M697.png

3.保存ipvsadm当前配置,指定一个保存文件,便于清理后从该文件恢复配置

wKioL1m0ujiDgp_nAABg9rAGy4w242.png

4.realserver服务器做arp抑制,抑制时注意将所有端口都要进行设置,除了all之外由于RIP是设置在eth0上与外部通信,所以也要进行设置

wKiom1m0ul3j_CazAAA3UtK4EAY887.png5.将VIP配置在realserver的回环地址上,并添加路由,要求前往172.16.10.100的流量必须从经过lo:0接口。如果使用ip addr add命令可以直接在eth0或lo上设置,且不需要添加路由

wKioL1m0ujnTY2vnAAARPn5k5ZE396.png

6.确认realserver的网关一定不能指向DIP,至此操作全部完成

wKiom1m0ul2zL6IrAAAtPzuc-JY388.png

补充说明

本地接口和回环接口

本地接口是一个真实的物理接口,自身有mac地址;而会换接口是一个逻辑接口没有mac地址。本地接口别名和本地接口可以是不同的IP地址,但使用相同的mac地址;而回环接口和回环地址别名有不同的IP地址,但都没有mac地址。

所以当director将目标mac地址更改完后realserver是通过RIP的接口接收到,发现mac地址就是自己的本地接口后拆掉mac地址,发现目标IP是VIP,而VIP配置在环回地址的别名上,所以此时需要使用route add -host 172.16.10.100 dev lo:0

wKioL1m0ujmyMpzHAAB3tYS3KSk022.png

而当数据报文返回时由于是从RIP接口进来应该直接由RIP接口返回,但是客户端请求的是VIP的地址,此时又强行让数据报文先经过VIP,整个lvs-dr模式工作流程如下:

wKiom1m0ul6TO6gdAACoKbhctf4851.png

1.客户端向VIP地址发起请求

2.本地网络通过广播形式寻找VIP的mac地址,director进行响应并接受请求

3.director根据设置的调度规则选定一个负责处理的realserver,并将目标mac地址改为对应realserver的mac地址

4.按照新的目标mac地址重新发出请求,RIP接口发现目标mac地址就是自己拆封后发现目标IP是本地回环接口上的IP,交由本地回环接口处理

5.由于数据报文时从物理接口流入,守护进程处理完后交由物理接口返还客户端

6.但此时物理接口上的IP为RIP并不是客户端请求的VIP,所以数据报文被强行指向VIP的环回接口

7.回环接口封装完IP地址后再封装物理接口的mac地址,将结果返回客户端



本文转自 qiao645 51CTO博客,原文链接:http://blog.51cto.com/arkling/1964090
相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
6月前
|
运维 负载均衡 网络协议
LVS详解(六)——LVS DR模式实战
LVS详解(六)——LVS DR模式实战
157 5
|
6月前
|
运维 负载均衡 应用服务中间件
LVS详解(五)——LVS NAT模式实战
LVS详解(五)——LVS NAT模式实战
131 3
|
负载均衡 应用服务中间件 Linux
企业实战(13)LVS负载均衡NAT(网络地址转换)模式实战详解(一)
企业实战(13)LVS负载均衡NAT(网络地址转换)模式实战详解(一)
166 0
|
存储 负载均衡 网络协议
企业实战(13)LVS负载均衡DR(直接路由)模式实战详解(二)
企业实战(13)LVS负载均衡DR(直接路由)模式实战详解(二)
215 0
|
6月前
|
负载均衡 网络协议 算法
LVS 负载均衡部署的三种模式 与搭建dr模式具体步骤
LVS 负载均衡部署的三种模式 与搭建dr模式具体步骤
|
3月前
|
负载均衡 网络协议 Linux
在Linux中, LVS三种模式的工作过程是什么?
在Linux中, LVS三种模式的工作过程是什么?
|
3月前
|
负载均衡 监控 网络协议
在Linux中,LVS-DR模式原理是什么?
在Linux中,LVS-DR模式原理是什么?
|
3月前
|
负载均衡 算法 Linux
在Linux中,LVS-NAT模式的原理是什么?
在Linux中,LVS-NAT模式的原理是什么?
|
6月前
|
负载均衡 网络协议
NAT模式 LVS负载均衡部署
NAT模式 LVS负载均衡部署
|
6月前
|
存储 运维 算法
LVS详解(二)——LVS工作模式
LVS详解(二)——LVS工作模式
103 3