linux-集群介绍

简介:
集群(Cluster):
按照某种方式把服务器连起来来完成一种特定的任务,提高服务器的响应能力。  scale on 在单台主机上提高服务器性能  scale out 增加服务器的数量来提高,负载均衡的集群 
集群有三种:
 
1 LB(Load Balancing)  负载均衡 前端有个分发器(Director)负责接收客户端的请求分发服务到后端的realserver上(或者Dispatcher都是分发器)
2 HA(Hight Availability)  高可用集群(7x24 99.999% ;时时在线的提供服务,只有一个在线服务,另外的做备份)
3 HP(hight Performance)  高性能集群,把任务分片发给集群服务器,然后把结果收集,计算速度非常快
 
DIrector,(分发器可以通过软件或者硬件实现)
靠软件实现的分发器有二种:基于OSI模型四层和七层交换 四层交换 负载均衡是通过ip+端口转发实现,实现不同的服务访问用LVS软件实现  七层交换 实现负载均衡,(squid,反向代理)负载均衡技术,需要特定的协议
LVS,:Linux Virtual Server:开源的负载均衡,作者中国章文嵩,目前在阿里巴巴,首席科学家,LVS 是软件方式实现负载均衡,架构类似iptabless/netfilter    
LVS ipvsadm(工具)/ipvs(内核代码)现在的内核都内置了ipvs内核代码,从Linux内核版本2.6起,ip_vs code已经被整合进了内核中,因此,只要在编译内核的时候选择了ipvs的功能,您的Linux即能支持LVS。Linux 2.4.23以后的内核版本也整合了ip_vs code,但如果是更旧的内核版本,您得自己手动将ip_vs code整合进内核原码中,并重新编译内核方可使用lvs。

Virtual server:是前端分发器
 
Realserver:作为后端的主机,真正响应客户端请求
VIP: Virtual IP address 向客户端提供服务的ip地址,临时性的   
 
RIP: Real IP addresss 作为集群节点的地址
DIP: Director's IP address 用来与directory通信的ip  CIP: Client computer's IP address 作为一个客户端来源来访问集群服务器
 
LVS 集群有三种类型:
LVS-NAT: LVS地址转换类型,就是目标地址转换  集群节点必须在同一个网络中,可以将端口映射到不同端口,directory可能成为系统瓶颈,一般工作在负载20台左右的服务器,不能作为大型的服务

LVS-DR:( directory routing)直接路由类型,linux集群用的最多的一种  DR要求每一个集群节点要与dirctor在同一个网络中,RIP不要求都是私有地址,VIP必须是公网ip,接受进来的请求,对出去的请求不做管理,Rserver的网关不指向Directory,Directory不能重新映射端口,大多数操作系统都可以做Reserver,但windown不能做,支持更多的主机服务器,管理员可以直接远程对服务器管理.  缺点:服务器地址直接面向客户端,不安全

lVS-TUN  LVS隧道模式;和DR网络模型一样,但是Director和Reserver可以不再同一网段中,可以实现异地容灾的功能.  Directory和Reserver通信是建立一个隧道,在二台主机直接建立一个管道,RIP不能使用私有地址,不能做端口映射,跟DR一样,只有支持隧道协议的操作系统才能作为Reserver
LVS调度方法,算法10种:
当客户端请求时,Directory要根据算法把请求重定向到后台服务器上响应  静态的固定算法(不考虑Realserver上实际存活的数目)
1 Round-robin RR (轮询)当一个新的连接请求到达时,director只是顺序的选择一个下realserver上
2 Weighted Round-Robin WRR: 加权轮询,给每一个reserver一个权重来确定下一个请求给谁,权重越大分到请求越多
3 Destination Hashing   DH (目标散列)相当于DNAT,来自同一个ip的请求都重定向到同一个Realserver上去,保证目标地址不变4  Source hashing SH (源散列)相当于SNAT,算法正好与目标地址散列调度算法相反,当来自同一个服务器的响应。还通过同一个路由器出去响应给客户端,保证源地址不变,在实际应用中,源地址散列调度和目标地址散列调度可以结合使用在防火墙集群中,它们可以保证整个系统的唯一出入口  动态调度算法(通过检查服务器当前连接的活动状态决定如何进行调度) 
5 LC (最少连接) 新的连接请求将被分配至当前连接数最少的RealServer上;最小连接调度是一种动态调度算法,它通过服务器当前所活跃的连接数来估计服务器的负载情况。调度器需要记录各个服务器已建立连接的数目,当一个请求被调度到某台服务器,其连接数加1;当连接中止或超时,其连接数减一
6 WLC (加权最少连接) 在原有的最少连接的基础上给realserver一个权重,是比较理想的算法
7 SED: 最短期望延迟,对wlc的改进,
8 NQ  :永不排队,对sed简单改进,还检查当前服务器有没有连接
9 LBLC: 基于本地的最少连接,动态的DH,不仅检查是不是请求是不是同一个ip还检查当前有没有连接
10 LBLCR: 带复制的最少连接,对lblc的改进,当第二个realserver上的全部请求断开,允许第一个realserver上的请求复制到第二个realserver上响应,减轻第一个realserver上的负担

ipvsadm用法:
grep -i ip_vs /boot/config-2.6.18-164.e15 查看系统内核有没有ipvs
yum install ipvsadm 若没有则安装ipvsadm工具
ipvsadm 是一个工具用于写规则
ipvsadm -Lcn 查看当前的所有连接,或者cat /proc/net/ip_vs_conn 查看虚拟服务和RealServer上当前的连接数
数据包数和字节数的统计值,则可以使用下面的命令实现:
ipvsadm -l --stats
查看包传递速率的近似精确值,可以使用下面的命令:
ipvsadm -l --rate
   
ipvsadm -Ln 查看定义的服务
ipvsadm 
-A 定义服务,
-a 加入realserver
–s指定算法
–t服务类型
–f防火墙标记
–r realserver实际服务器
–g或者–m指定lvm类型,
-m指定lvm类型为nat,
-g指定lvm类型为路由,默认的
-i表示隧道
–m指定伪装
–w指定权重
–E 更改算法类型
ipvsadm -D 删除服务
ipvsadm –d 删除某一个realserver 
ipvsadm -Z 清空计数器
ipvsadm -C 清空规则
ipvsadm -S >/root.a.ipvs 保存规则到一个位置
ipvsadm –S> /etc/sysconfig/ipvs-config =ipvsadm-save保存规则
ipvsadm –R </etc/sysconfig/ipvsadm-config = ipvsadm-restore恢复规则
redhat默认在/etc/init.d/ipvsadm 有一个ipvsadm的脚本
LVS ipvsadm -A -t 192.168.0.3:80 -s rr 定义ipvs


本文转自 张玉坡 51CTO博客,原文链接:http://blog.51cto.com/fighter/499162

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
相关文章
|
Linux
Linux手动更新时间Linux同步集群其他节点时间
Linux手动更新时间Linux同步集群其他节点时间
337 0
|
存储 负载均衡 索引
linux7安装elasticsearch-7.4.0集群配置
linux7安装elasticsearch-7.4.0集群配置
569 0
|
Kubernetes Shell Linux
linux|shell脚本|有趣的知识---格式化输出日志和脚本调试方法以及kubernetes集群核心服务重启和集群证书备份脚本
linux|shell脚本|有趣的知识---格式化输出日志和脚本调试方法以及kubernetes集群核心服务重启和集群证书备份脚本
750 0
|
存储 Java Linux
【Zookeeper】基于3台linux虚拟机搭建zookeeper集群(二)
【Zookeeper】基于3台linux虚拟机搭建zookeeper集群
910 1
【Zookeeper】基于3台linux虚拟机搭建zookeeper集群(二)
|
消息中间件 Java Kafka
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
本文介绍了Kafka集群的搭建过程,涵盖从虚拟机安装到集群测试的详细步骤。首先规划了集群架构,包括三台Kafka Broker节点,并说明了分布式环境下的服务进程配置。接着,通过VMware导入模板机并克隆出三台虚拟机(kafka-broker1、kafka-broker2、kafka-broker3),分别设置IP地址和主机名。随后,依次安装JDK、ZooKeeper和Kafka,并配置相应的环境变量与启动脚本,确保各组件能正常运行。最后,通过编写启停脚本简化集群的操作流程,并对集群进行测试,验证其功能完整性。整个过程强调了自动化脚本的应用,提高了部署效率。
3842 1
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
|
Linux 数据安全/隐私保护
HTCondor下多台Linux计算集群的搭建
HTCondor下多台Linux计算集群的搭建
HTCondor下多台Linux计算集群的搭建
|
运维 负载均衡 监控
"Linux高可用集群背后的神秘力量:揭秘心跳机制,如何确保服务永不掉线?"
【8月更文挑战第21天】今天探讨Linux高可用集群中的心跳机制——节点间定期发送信号以确认彼此状态的关键技术。它主要用于故障检测、负载均衡及资源接管。示例代码展示如何使用Corosync+Pacemaker配置心跳,确保服务连续性与可靠性。正确配置心跳机制能够显著提升系统的稳定性。
561 1
|
Linux 网络安全
|
Kubernetes 网络协议 Linux
使用 kubeadm 部署 Kubernetes 集群(一)linux环境准备
使用 kubeadm 部署 Kubernetes 集群(一)linux环境准备
1097 9
|
网络协议 Linux 数据安全/隐私保护
【Zookeeper】基于3台linux虚拟机搭建zookeeper集群(一)
【Zookeeper】基于3台linux虚拟机搭建zookeeper集群
770 1
【Zookeeper】基于3台linux虚拟机搭建zookeeper集群(一)