1、群集应用概述:
存在的问题:
互联网应用中,随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高,单台服务器已经无法满足负载均衡及高可用的要求。
解决办法:
使用价格昂贵的小型机、大型机 、 使用多台相对廉价的普通服务器构建服务群集 通过整合多台服务器,使用LVS来达到服务器的高可用和负载均衡,并以同一个ip地址对外提供相同的服务。在企业中常用的一种群集技术——LVS(linux virtual server,linux虚拟服务器)
群集的含义:
Cluster,集群、群集 由多台主机构成,但对外只表现为一个整体
群集的三种类型:
a) 负载均衡群集 b) 高可用群集 c) 高性能运算群集
a)负载均衡群集:
- 提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载(LB)的整体性能
- LB的负载分配依赖于主节点的分流算法
b)高可用群集:
- 提高应用系统的可靠性、尽可能地减少中断时间为目标,确保服务的连续性,达到高可用(HA)的容错效果
- HA的工作方式包括双工和主从两种模式
c)高性能运算群集:
- 提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力
- 高性能依赖于“分布式运算”、“并行计算”,通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力
负载均衡的结构:
第一层,负载调度器(Load Balancer或Director)
访问整个群集系统的唯一入口,对外使用所有服务器共有的VIP地址,也称为群集IP地址。通常会配置主、备两台调度器实现热备份,当朱调度器失效以后能平滑替换至备用调度器,确保高可用性。
第二层,服务器池(Server Pool)
群集所提供的应用服务、由服务器池承担,其中每个节点具有独立的RIP(真实IP),只处理调度器分发过来的客户机请求。当某个节点暂时失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池。
第三层,共享存储(Share Storage)
为服务器池中的所有节点提供稳定、一致的文件存取服务,确保整个群集的统一性。共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。
负载均衡群集工作模式:
负载均衡群集是目前企业用得最多的群集类型
群集的负载调度技术有三种工作模式:
- (NAT)地址转换
- (TUN)IP隧道
- (DR)直接路由
a)NAT模式——地址转换
类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,挤座位客户机的访问入口,也是各节点回应客户机的访问出口
服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两种方式
b)TUN模式——IP隧道
采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的internet连接直接回应客户机,而不再经过负载调度器
服务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用的IP隧道与负载调度器相互通信
c)DR模式——直接路由
采用半开放式的网络结构,与TUN模式的结构类似,单个节点并不是分散在各地,而是与调度器位图同一个物理网络
负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道
LVS的负载调度算法:
LVS群集创建与管理:
ipvsadm管理工具:
LVS现在已成为LINUX内核的一部分,默认编译为ip_vs模块,必要时能够自动调用。在Centos 7系统中,一下操作可以手动加载ip_vs模块,并查看当前系统中ip_vs模块的版本信息
modprobe ipvsadm -v #确认内核对LVS的支持 cat /proc/net/ip_vs
ip_vs工具选项说明:
2、NAT模式LVS负载均衡群集部署:
案例环境:
负载调度器:内网关 ens33:192.168.80.80,外网关 ens37:12.0.0.1
Web节点服务器1:192.168.80.10
Web节点服务器2:192.168.80.20
NFS服务器:192.168.80.30
客户端:12.0.0.12
a)部署NFS服务器(192.168.80.30)
案例环境: 负载调度器:内网关 ens33:192.168.80.80,外网关 ens37:12.0.0.1 Web节点服务器1:192.168.80.10 Web节点服务器2:192.168.80.20 NFS服务器:192.168.80.30 客户端:12.0.0.12 a)部署NFS服务器(192.168.80.30)
/opt/kgc 192.168.80.0/24(rw,sync) /opt/benet 192.168.80.0/24(rw,sync)
--发布共享--- exportfs -rv
b)配置节点服务器(192.168.80.10、192.168.80.20)
ens33网关需要设置为网关服务器
systemctl stop firewalld.service systemctl disable firewalld.service setenforce 0 yum install httpd -y systemctl start httpd.service systemctl enable httpd.service yum install nfs-utils rpcbind -y showmount -e 192.168.80.30 systemctl start rpcbind.service systemctl start nfs.service systemctl enable rpcbind.service systemctl enable nfs.service --192.168.80.10--- mount.nfs 192.168.80.30:/opt/kgc /var/www/html vim /etc/fstab 192.168.80.30:/opt/kgc /myshare nfs defaults,_netdev 0 0 另一台节点服务器挂载如下: --192.168.80.20--- mount.nfs 192.168.80.30:/opt/benet /var/www/html vim /etc/fstab 192.168.80.30:/opt/benet /myshare nfs defaults,_netdev 0 0
c)配置负载调度器(内网关 ens33:192.168.80.1,外网关 ens36:12.0.0.1)
systemctl stop firewalld.service systemctl disable firewalld.service setenforce 0
→ 配置SNAT转发规则
vim /etc/sysctl.conf net.ipv4.ip_forward = 1 #添加ip路由转发
或 echo '1' > /proc/sys/net/ipv4/ip_forward sysctl -p iptables -t nat -F iptables -F iptables -t nat -A POSTROUTING -s 192.168.80.0/24 -o ens36 -j SNAT --to-source 12.0.0.1
→ 加载LVS内核模块
modprobe ip_vs #加载 ip_vs模块 cat /proc/net/ip_vs #查看 ip_vs版本信息 ##加载全部模块 for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done
→ 安装ipvsadm
yum -y install ipvsadm --启动服务前须保存负载分配策略--- ipvsadm-save > /etc/sysconfig/ipvsadm 或者 ipvsadm --save > /etc/sysconfig/ipvsadm systemctl start ipvsadm.service
→ 配置负载分配策略
ipvsadm -C #清除原有策略 ipvsadm -A -t 12.0.0.1:80 -s rr ipvsadm -a -t 12.0.0.1:80 -r 192.168.80.10:80 -m [-w 1] #添加真实ip ipvsadm -a -t 12.0.0.1:80 -r 192.168.80.20:80 -m [-w 1] #添加真实ip ipvsadm #启用策略 ipvsadm -ln #查看节点状态,Masq代表 NAT模式 ipvsadm-save > /etc/sysconfig/ipvsadm #保存策略
ipvsadm -d -t 12.0.0.1:80 -r 192.168.80.10:80 -m [-w 1] #删除群集中某一节点服务器 ipvsadm -D -t 12.0.0.1:80 #删除整个虚拟服务器 systemctl stop ipvsadm #停止服务(清除策略) systemctl start ipvsadm #启动服务(重建规则) ipvsadm-restore < /etc/sysconfig/ipvsadm #恢复LVS 策略
测试: