一、LVS-DR工作原理

1、数据包流向分析

第一步：客户端发送请求到 Director Server (负载均衡器），请求的数据报文到达内核空间

数据报文

源 IP ------客户端的 IP

目标 IP ------ VIP

源 MAC ------客户端的 MAC

目的 MAC ------ Director Server 的 MAC

第二步：内核空间判断数据包的目标 IP 是本机 VIP ，此时 IPVS（IP 虚拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。然后将数据包发送给根据负载均衡算法选择的 Real Server。（Director Server 和 Real Server 在同一个网络中，数据通过二层数据链路层来传输。）

数据报文

源 IP ------ 客户端的 IP

目标 IP ------ VIP

源 MAC ------ Director Server 的 MAC

目的 MAC ------ Real Server 的 MAC

第三步：到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文，将响应报文通过 lo 接口传送给物理网卡然后向外发出。

数据报文

源 IP ------ VIP

目标 IP ------ 客户端的 IP

源 MAC ------ Real Server 的 MAC

目的 MAC ------ 客户端的 MAC

第四步：通过交换机和路由器将响应报文传送到客户端。客户端收到回复报文，得到想要的服务，但是不会知道是哪台服务器处理的

数据流向

当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。

此时报文的源IP为CIP，目标IP为VIP

PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链

IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。

此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址

由于DS（调度服务器）和RS（节点真实服务器）在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real

Server。

RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。

此时的源IP地址为VIP，目标IP为CIP

响应报文最终送达至客户端

以客户端与服务端在同一网段为例

CIP：192.168.94.157

VIP：192.168.94.188

DIR: 192.168.94.19

RS ：192.168.94.151（nfs）、192.168.94.152和192.168.94.153（提供http服务）

整个请求过程示意：

这里假设CIP的mac地址为：00-50-56-C0-00-08 ，DIR的ens33的mac地址为：00-50-56-C0-00-01, RIP1的mac地址为: D0-50-99-18-18-15。CIP在请求之前会发一个arp广播包，即请求“谁是VIP”,由于所有的DIR和RIP都在一个物理网络中，而DIR和RIP都有VIP地址，为了让请求发送到DIR上，所以必须让RIP不能响应CIP发出的arp请求（这也是为什么RIP上要把VIP配置在lo口以及要仰制arp查询和响应）这时客户端就会将请求包发送给DIR，接下来就是DIR的事情了：

① client向目标vip发出请求，DIR接收。此时IP包头及数据帧头信息如下：

② DIR根据负载均衡算法选择一台active的RS（RIP1），将此RIP1所在网卡的mac地址作为目标mac地址，发送到局域网里。此时IP包头及数据帧头信息如下：

③RIP1(192.168.94.152)在局域网中收到这个帧，拆开后发现目标IP(VIP)与本地匹配，于是处理这个报文。随后重新封装报文，发送到局域网。此时IP包头及数据帧头信息如下：

如果client与RS同一网段，那么client(192.168.94.157)将收到这个回复报文。如果跨了网段，那么报文通过gateway/路由器经由Internet返回给用户。在实际情况下，可能只有一个公网，其他都是内网，这时VIP绑定地址应该是公网那个ip，或者利用路由器静态

2、DR模式的特点

Director Server 和 Real Server 必须在同一个物理网络中

Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问

Director Server 作为群集的访问入口，但不作为网关使用

所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。

Real Server的网关不允许指向Director Server IP，即 Real Server 发送的数据包不允许经过 Director Serve

Real Server 上的 lo 接口配置 VIP 的 IP 地址

二、LVS-DR中的ARP问题

问题一

（1）在LVS-DR负载均衡集群中，负载均衡与节点服务器都要配置相同的VIP地址。

（2） 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱

解决思路：

1：当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务 器都是连接到相同网络上，它们都会接收到ARP广播

2：只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播

（3） 对节点服务器进行处理，使其不响应针对VIP的ARP请求。

解决方法

（1） 使用虚接口lo:0承载VIP地址

（2） 设置内核参数arp_ignore=1:系统只响应目的IP为本地IP的ARP请求

问题二：

RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址。

发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址

如：ens33

路由器收到ARP请求后，将更新ARP表项

原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址

路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效

解决方法：

对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址。

解决ARP的两个问题的设置方法

修改 /etc/sysctl.conf 文件

三、LVS负载均衡DR模式群集部署

ipvsadm工具

LVS的负载调度算法

轮询(Round Robin)

● 将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器) ,均等地对待每一台服务器 ，而不管服务器实际的连接数和系统负载

加权轮询 (Weighted Round Robin)

● 根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务，分配的请求数越多

● 保证性能强的服务器承担更多的访问流量

最少连接 (Least Connections )

● 根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点

加权最少连接(Weighted L east Connections )

● 在服务器节点的性能差异较大时，可以为真实服务器自动调整权重

● 性能较高的节点将承担更大比例的活动连接负载

1、准备

注意：此次搭建在同一局域网内，设置网络时不用网关和DNS，注释即可。如果不在同一网段，需要配置网关。

2、部署共享存储

NFS服务器：192.168.80.10

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

yum -y install nfs-utils rpcbind

systemctl start rpcbind.service
systemctl start nfs.service
systemctl enable nfs.service
systemctl enable rpcbind.service

mkdir /opt/test1
mkdir /opt/test2
chmod 777 /opt/pxl
chmod 777 /opt/jingjing

vim /etc/exports
/opt/test1 192.168.94.0/24(rw,sync)
/opt/test2 192.168.94.0/24(rw,sync)
exportfs -rv