- 2.1 负载均衡群集(Load Balance Cluster)
- 2.2 高可用群集 (High Availability Cluster)
- 2.3 高性能运算群集 (High Performance Computer Cluster)
- 八、LVS-NAT模式操作实例
- 实验内容
- 实验环境
- 8.1 部署共享存储（NFS服务器：192.168.147.103）
- 8.2 配置节点服务器（后端服务器）
- 8.3 配置负载调度器LVS（ens33：192.168.147.100 ens36：10.0.0.1）
- 8.3.1 创建网卡
- 8.3.2 下载所需工具包并配置网卡
- 8.3.3 配置SNAT转发规则
- 8.3.4 加载LVS内核模块
- 8.3.5 启动ipvsadm服务
一、集群
1.1 集群的含义
- Cluster，集群、群集
- 由多台主机构成，但对外只表现为一个整体，只提供一个访问入口（域名与IP地址），相当于一台大型计算机。
1.2 使用集群的原因
互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及高可用性的要求。
1.3 解决方法
- 使用价格昂贵的小型机、大型机（纵向扩展）
- 使用多台相对廉价的普通服务器构建服务集群（横向扩展）
通过整合多台服务器，使用LVS来达到服务器的高可用和负载均衡，并且同一个IP地址对外提供相同的服务。
在企业中常用的一种集群技术——LVS（Linux Virtual Server，Linux虚拟服务器）
二、集群分类
根据群集所针对的目标差异，可分为三种类型
- 负载均衡群集
- 高可用群集
- 高性能运算群集（分布式）
2.1 负载均衡群集(Load Balance Cluster)
- 提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、高负载(LB)的整体性能
- LB的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载
2.2 高可用群集 (High Availability Cluster)
- 提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(HA) 的容错效果
- HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线；主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点。（VRRP）例如：“故障切换”、“双机热备” 等
2.3 高性能运算群集 (High Performance Computer Cluster)
- 以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算(HPC)能力
- 高性能依赖于"分布式运算”、“并行计算” ， 通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力
三、负载均衡群集架构
第一层，负载调度器(Load Balancer或Director)
访问整个群集系统的唯一入口， 对外使用所有服务器共有的VIP地址，也称为群集IP地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。
第二层，服务器池(Server Pool)
群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址(真实IP)，只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。
第三层，共享存储(Share Storage)
为服务器池中的所有节点提供稳定、一致的文件存取服务， 确保整个群集的统一性共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。
四、负载均衡群集工作模式分析
负载均衡群集是目前企业用得最多的群集类型。
群集的负载调度技术有三种工作模式：
- 1、地址转换（NAT模式）
- 2、IP隧道（TUN模式）
- 3、直接路由（DR模式）
- 通常使用 NAT和DR，使用最多的是DR模式。
4.1 NAT模式（地址转换）
- Network Address Translation，简称NAT模式
- 类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口
- 服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式
4.2 TUN模式（IP隧道）
- IP Tunnel,简称TUN模式
- 采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器
- 服务器节点分散在互联网中的不同位置,具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信
4.3 DR模式（直接路由）
- Direct Routing，简称DR模式
- 采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
- 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道
五、LVS虚拟服务器
5.1 LVS介绍
LVS现在已成为Linux内核的一部分，默认编译为ip_ vs模块，必要时能够自动调用。在CentOS 7系统中，以下操作可以手动加载ip_ vs模块，并查看当前系统中ip_ vs模块的版本信息。
modprobe ip_vs cat /proc/net/ip_vs #确认内核对LVS的支持
5.2 LVS的组成及作用
- ipvs(ip virtual server)：LVS 是基于内核态的 netfilter 框架实现的 IPVS 功能，工作在内核态。用户配置 VIP 等相关信息并传递到 IPVS 就需要用到 ipvsadm 工具。
- ipvsadm：ipvsadm 是 LVS 用户态的配套工具，可以实现 VIP 和 RS 的增删改查功能，是基于 netlink 或 raw socket 方式与内核 LVS 进行通信的，如果 LVS 类比于 netfilter，那 ipvsadm 就是类似 iptables 工具的地位。
作用：
- 主要用于多服务器的负载均衡；
- 工作在网络层，可实现高性能，高可用的服务器集群技术；
- 廉价，可把许多低性能的服务器组合在一起形成一个超级服务器；
- 易用，配置简单，有多种负载均衡的方法；
- 稳定可靠，即使在集群的服务器中某台服务器无法正常工作，也不影响整体效果；
- 可扩展性好；
5.3 LVS与nginx做比较
- LVS 比 Nginx 具有更强的抗负载能力，性能高，对内存和 CPU 资源消耗较低；
- LVS 工作在网络层，网络依赖性大，稳定性高。Nginx 安装配置较简单，网络依赖性小
- LVS 不支持正则匹配处理，无法实现动静分离效果。Nginx 可实现这方面的功能；
- LVS 适用的协议范围广。Nginx 仅支持 HTTP、HTTPS、Email 协议，适用范围小；
六、LVS负载调度算法
轮询(Round Robin)
- 将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器) ,均等地对待每一台服务器 ，而不管服务器实际的连接数和系统负载
加权轮询 (Weighted Round Robin)
- 根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务，分配的请求数越多
- 保证性能强的服务器承担更多的访问流量
最少连接 (Least Connections )
- 根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点
加权最少连接(Weighted L east Connections )
- 在服务器节点的性能差异较大时，可以为真实服务器自动调整权重
- 性能较高的节点将承担更大比例的活动连接负载
七、LVS群集创建与管理
7.1 步骤
- 创建虚拟器节点
- 添加、删除服务器节点
- 查看群集及节点情况
- 保存负载分配策略
7.2 ipvsadm工具
LVS的管理工具是ipvsadm
八、LVS-NAT模式操作实例
实验内容
LVS调度器作为Web服务器池的网关，LVS两块网卡，分别连接内外网，使用轮询（rr）调度算法。
实验环境
LVS负载调度器：ens33：192.168.147.100 ens37：10.0.0.1（vmnet3）
Web1 节点服务器1：192.168.147.101
Web2 节点服务器2：192.168.147.102
NFS服务器：192.168.147.103
客户端（win10）：10.0.0.12 (VMnet3)
8.1 部署共享存储（NFS服务器：192.168.147.103）
systemctl stop firewalld.service systemctl disable firewalld.service setenforce 0 yum install -y nfs-utils rpcbind systemctl start nfs.service systemctl start rpcbind.service systemctl enable nfs.service systemctl enable rpcbind.service mkdir /opt/zhangsan /opt/lisi chmod 777 /opt/zhangsan /opt/lisi vim /etc/exports /usr/share *(ro,sync) /opt/zhangsan 192.168.147.0/24(rw,sync) /opt/lisi 192.168.147.0/24(rw,sync) #发布共享 exportfs -rv showmount -e
8.2 配置节点服务器（后端服务器）
192.168.147.101 192.168.147.102 systemctl stop firewalld.service systemctl disable firewalld.service setenforce 0 yum install -y httpd systemctl start httpd.service systemctl enable httpd.service yum install -y nfs-utils rpcbind systemctl start rpcbind.service systemctl enable rpcbind.service showmount -e 192.168.147.103
#web1：192.168.147.101 mount.nfs 192.168.147.103:/opt/zhangsan /var/www/html/ echo 'this is zhangsan' > /var/www/html/index.html vim /etc/fstab 192.168.147.103:/opt/zhangsan /var/www/html nfs defaults,_netdev 0 0 mount -a
#web2：192.168.147.102 mount.nfs 192.168.147.103:/opt/lisi /var/www/html/ echo 'this is lisi' > /var/www/html/index.html vim /etc/fstab 192.168.147.103:/opt/lisi /var/www/html nfs defaults,_netdev 0 0 mount -a
8.3 配置负载调度器LVS（ens33：192.168.147.100 ens36：10.0.0.1）
8.3.1 创建网卡
8.3.2 下载所需工具包并配置网卡
systemctl stop firewalld.service systemctl disable firewalld.service setenforce 0 #下载工具包 yum install -y ipvsadm #修改网卡 cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens36 vim /etc/sysconfig/network-scripts/ifcfg-ens33 vim /etc/sysconfig/network-scripts/ifcfg-ens36 systemctl restart network
8.3.3 配置SNAT转发规则
vim /etc/sysctl.conf net.ipv4.ip_forward=1 sysctl -p 或者：echo '1' > /proc/sys/net/ipv4/ip_forward iptables -t nat -F iptables -F iptables -t nat -nL iptables -t nat -A POSTROUTING -s 192.168.147.0/24 -o ens36 -j SNAT --to-source 10.0.0.1 nat表:修改数据包中的源、目标IP地址或端口 POSTROUTING: 在进行路由判断之"后"所要进行的规则(SNAT/MASQUERADE) PREROUTING: 在进行路由判断之"前"所要进行的规则(DNAT/REDIRECT) -A: 在规则链的末尾加入新规则 -s: 匹配来源地址IP/MASK. -o 网卡名称匹配从这块网卡流出的数据 -i 网卡名称匹配从这块网卡流入的数据 -j 控制类型
8.3.4 加载LVS内核模块
modprobe ip_vs #手动加载ip_vs模块 cat /proc/net/ip_vs #查看ip_vs版本信息
8.3.5 启动ipvsadm服务
#注意：启动服务前必须保存负载分配策略，否则将会报错 ipvsadm-save > /etc/sysconfig/ipvsadm 或者 ipvsadm --save > /etc/sysconfig/ipvsadm 或者 touch /etc/sysconfig/ipvsadm systemctl start ipvsadm.service
8.3.6 配置负载分配策略（NAT模式只要在服务器上配置，节点服务器不需要特殊配置）
ipvsadm -C #清除原有策略 ipvsadm -A -t 10.0.0.1:80 -s rr ipvsadm -a -t 10.0.0.1:80 -r 192.168.147.101:80 -m -w 1 ipvsadm -a -t 10.0.0.1:80 -r 192.168.147.102:80 -m -w 1 ipvsadm #启动策略 ipvsadm -ln #查看节点状态，Masq代表 NAT模式 ipvsadm-save > /etc/sysconfig/ipvsadm #保存策略
8.3.7 配置节点服务器网关指向LVS调度器
#web1 vim /etc/sysconfig/network-scripts/ifcfg-ens33 systemctl restart network
#web2 vim /etc/sysconfig/network-scripts/ifcfg-ens33 systemctl restart network
8.4 测试效果
在win10上使用浏览器访问10.0.0.1，刷新浏览器测试负载均衡
PS:刷新间隔时间需要稍长一点
