作者推荐 | 【分布式技术专题】「架构设计方案」图解学习法总结集群模式下的各种软负载均衡策略实现及原理分析

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
EMR Serverless StarRocks,5000CU*H 48000GB*H
应用型负载均衡 ALB,每月750个小时 15LCU
简介: 作者推荐 | 【分布式技术专题】「架构设计方案」图解学习法总结集群模式下的各种软负载均衡策略实现及原理分析

背景介绍


在分布式系统中,负载均衡是非常重要的环节,通过负载均衡将请求派发到网络中的一个或多个节点上进行处理。

image.png

通常来说,负载均衡分为硬件负载均衡及软件负载均衡。硬件负载均衡,顾名思义,在服务器节点之间安装专门的硬件进行负载均衡的工作,F5或者A10便为其中的佼佼者。软件负载均衡则是通过在服务器上安装的特定的负载均衡软件或是自带负载均衡模块完成对请求的分配派发。例如,平时我们使用的Nginx或者API-Gateway网关服务就主要采用负载均衡的方式去转发分派下游服务。

image.png



负载均衡的算法策略


一般而言,有以下几种常见的负载均衡策略:


轮询机制(一般默认的策略)


【轮询机制】作为非常经典的负载均衡策略,早期该策略应用地非常广泛。


算法原理


其原理很简单,给每个请求标记一个序号,然后将请求依次派发到服务器节点中,适用于集群中各个节点提供服务能力等同且无状态的场景。算法实现原理图如下所示。

image.png


该算法原理三要素


  • 为每个服务器进行建立一个编号或者序号(作为唯一标识)。
  • 负载均衡器这一侧需要建立一个全局的计数器,作为负载均衡的参数。每次调用都进行+1
  • 当负载均衡器的计数器当前值与下游服务的数量取模之后,会得出对应的序号值,则回去进行分派到对应序号值的下游服务即可。


缺略优点


实现比较简单,均衡化较好,每一个节点都属于公平化分配,(上面也说到了)比较适合相同场景和条件规则下的所有下游服务。



策略缺点


缺点也非常明显,该策略将节点视为等同,与实际中复杂的环境不符。加权轮询为轮询的一个改进策略,每个节点会有权重属性,但是因为权重的设置难以做到随实际情况变化,仍有一定的不足。


随机机制


【随机机制】与轮询相似,只是不需要对每个请求进行编号,每次随机取一个下游服务节点即可。



算法原理


其原理也很简单,就是采用随机算法或者散列算法将请求服务进行随机散列到下游的不同的服务节点,该策略也将后端的每个节点是为等同的。


另外同样也有改进的加权随机的算法,不再赘述,然后将请求依次派发到服务器节点中,适用于集群中各个节点提供服务能力等同且无状态的场景。算法实现原理图如下所示。

image.png

主要依靠于随机算法或者随机组件去生产随机值之后在进行取模就可以。



该算法原理三要素


  • 为每个服务器进行建立一个编号或者序号(作为唯一标识)。


  • 负载均衡器这一侧需要建立一个随机数算法组件。每次调用都进行分配。


  • 然后选取随机值对应的服务组件即可(可以取模、也可以采用随机数从该范围内选取的方式)



缺略优点


实现比较简单,随机性较好,每一个节点都属于公平化分配,(上面也说到了)比较适合相同场景和条件规则下的所有下游服务。



策略缺点


缺点也非常明显,该策略将节点视为等同,与实际中复杂的环境不符。加权轮询为轮询的一个改进策略,每个节点会有权重属性,但是因为权重的设置难以做到随实际情况变化,仍有一定的不足。


最小响应时间


通过记录每次请求所需的时间,得出平均的响应时间,然后根据响应时间选择最小的响应时间。



算法原理


该策略能较好地反应服务器的状态,但是由于是平均响应时间的关系,时间上有些滞后,无法满足快速响应的要求。因此在此基础之上,会有一些改进版本的策略,如只计算最近若干次的平均时间的策略等。算法需要进行有状态话的方式进行统计每一次请求,算法实现原理图如下所示。

image.png

主要依靠于随机算法或者随机组件去生产随机值之后在进行取模就可以。



该算法原理三要素


  • 不需要为每一个服务节点建立序号了,但是需要进行对每一个服务节点采用一个bucket存储对应的调用次数以及调用的耗时总和。作为计算平均耗时的依据。


  • 耗时选择器:在负载均衡器端调用的时候,将建立一个顺序性队列,存放依据最短耗时(正序)排序的方式存储的队列模型,故此每次可以取队首位置的元素节点作为最短耗时服务节点。


  • 当然,也可以将每次最短的耗时时间的服务节点直接存储在负载均衡器节点中,这样会提高相应的性能,


  • 然后选取随机值对应的服务组件即可(可以取模、也可以采用随机数从该范围内选取的方式)

image.png


缺略优点


  • 可以依据实际情况进行动态计算最合适的服务节点进行调用,可以实现能者多劳,让优秀的服务节点更加出色的发挥其作用,慢慢的可以屏蔽掉不好用或者有问题的节点。
  • 可以促使性能和服务能力、可以体验度达到一个比较高的高度和效果。



策略缺点


  • 性能会造成一段时间的影响,如果不考虑绝对一致性,也可以后台进行异步计算进行可以能减低每次计算排序服务节点所造成的耗时。


  • 此外还可以考虑当不存在最短耗时记录的时候其算法是存在短时间不可靠的问题,随意最好可以做一下提前预热模式。


  • 客观问题是否如何排除,当由于网络因素导致某几次该节点的耗时耗费很久,会导致算法模式的影响,所以是否以及选取合适的调用次数统计阈值是一个需要好好考虑的问题。例如只有当调用5次以上才进行计算平均耗时,否则不会考虑其计算,好比一个服务节点只调用了一次并且耗时非常少,其实这个节点耗时计算过于主观以及巧合。

最小并发数


客户端的每一次请求服务在服务器停留的时间可能会有较大的差异,随着工作时间加长,如果采用简单的轮循或随机均衡算法,每一台服务器上的连接进程可能会产生较大的不同,并没有达到真正的负载均衡。



算法原理


最小并发数的策略则是记录了当前时刻,每个备选节点正在处理的事务数,然后选择并发数最小的节点。该策略能够快速地反应服务器的当前状况,较为合理地将负责分配均匀,适用于对当前系统负载较为敏感的场景。

image.png


该算法原理三要素


  • 当处理请求接收的时候为该节点的计数器+1
  • 当返回并且释放请求的时候为该节点的计数器-1
  • 每次依据每个后台异步计算的排序队列进行选取最短的节点作为每次请求的首选服务节点。(排序规则为:从小打到去进行依据当前处理事务数进行排序),



缺略优点


  • 可以依据实际情况进行动态计算最合适的服务节点进行调用,可以让大家动态化实现的均衡模式进行分配,让每一个节点都可以充分进行处理请求,而不是压在某一个或者某几个服务节点进行处理,其他节点变得过于空闲。适用于集群中各个节点提供服务能力等同且无状态的场景,比起轮询模式其动态化更好。


  • 可以促使性能和服务能力、可以体验度达到一个比较高的高度和效果。



策略缺点


  • 与最小耗时相同,性能会造成一段时间的影响,如果不考虑绝对一致性,也可以后台进行异步计算进行可以能减低每次计算排序服务节点所造成的耗时。

哈希散列


在后端节点有状态的情况下,需要使用哈希的方法进行负载均衡,此种情况下情况比较复杂。可以理解为轮询模式的升级版,在这里不是单纯的考虑取模的计算方式,而是采用key的方式进行计算-依赖于hash函数进行计算。



算法三要素


  • hash值映射表,用于计算提供路由能力,方便负载均衡器选取计算后的Hash值与节点的Hash标准值进行匹配路由。


  • hash值计算器:主要用于计算每一个服务节点的hash计算值,以及每次请求的hash值,从而进行数据对比。


算法优点


  • 散列性和公平性更加的优秀和完善


  • 性能计算非常的不错,接近于O(1)的时间复杂度。


  • 与轮询一样,思路较为简单。


  • 可以实现相同的条件,会实现数据指纹模式,数据请求追踪方式,例如:原始ip - 会匹配相同的服务节点,达成请求的有状态话。目前nginx常会使用 ip-hash算法、url-hash算法模式。

image.png


算法缺点


  • 强依赖于Hash算法和Hash组件
  • 对于时间复杂度而言降低很多,但是其依靠的是增加了空间复杂度。

分布式系统容错性因素分析


分布式系统面临着远比单机系统更加复杂的环境,包括不同的网络环境、运行平台、机器配置等等。在如此复杂的环境中,发生错误是不可避免的,然后如何能够做到容错性,将发生错误的代价降低到最低是在分布式系统中必须要考虑的问题。



分布式系统算法的实际选择


前提背景


选择不同的负载均衡策略将会有非常大的不同,考虑下列的情况。完成请求需要如下四个集群,A,B,C,D,其中,假定完成调用需要调用集群B3次,B集群共有5台服务器。



单次调用概率计算


当集群B中的某台服务器出现故障而导致无法提供服务,若集群中其他容错手段尚未生效,那么理想情况下,4/5的请求不受影响。



采用轮询或随机的负载均衡策略


单次请求派发到正常节点的概率为4/5,那么该请求成功的机率为 (4/5) * (4/5) * (4/5) = 64/125 :约为二之一,低于4/5的理想状态。


在因此,在此种情况下,若仅仅采用此种策略,会使故障的影响范围扩散,不符合预期


采用最小并发数的复杂均衡策略


假定正常一个请求需耗时10ms,超时时间设置为1s,那么,按照最小并发数的策略,异常节点的提供服务的能力为1,正常节点提供服务能力为100,则派发到异常节点的概率为1/(100 * 4+1)=1/401,该请求成功的几率为1(400/401)^3≈99.25%,高于4/5。



计算的公式


更加一般地,设集群中发生故障的故障机器的比例p,那么调用失败的预期概率为

1/(100 * 4+1)=1/401
p * 1/401 = N
复制代码


N为最后的预测调用失败的概率,对应的成功的概率就为:

(1-p) * 1/401 = M 或 1 - N 
复制代码



计算的公式


整个请求需要调用k次,若采用轮询或随机的负载均衡策略,那么单次派发到正常节点的概率为多少?有上面的计算分析的思路可以了解到:(1-P)为正常机器的比例,那么K次就是:(1-P)的K次方。请求的成功率便会下降低于单次的(1-P)。


当k为3的时候,得到成功率f(p)与p的关系:

f(p) = (1-p) ^n
复制代码

从上面的公式可知,在p在增大的时候,请求的成功率f(p)便会有明显的下降,故而在对可靠性要求比较高的分布式系统中,不能简单地采用此种策略。



采用最小并发数的策略


假设集群服务器的总数为m,假定异常情况下服务能力下降到正常的1/q,那么单位时间内,集群能提供服务的总数为:m * (1- 1/q) ,那么单次派发到正常节点的概率为:

m * (1- 1/q) / m
复制代码

请求的成功率则是上述值的k次方,即

m * (1- 1/q) / m ^k
复制代码
  1. 当p在较小的区间内变化时(如(0,0.4]),随着p的增大,成功率f(p)并未有明显的下降,在每个节点可以承受服务压力的情况下,可以良好地处理多个节点故障的异常状况。


  1. 换个角度思考,再挖掘一下上述等式,若p为恒定,即集群中若已有一定数量的机器发生了故障。
  2. 所以服务的超时时间无须设置地过大,一般来说,设置为10倍的正常提供服务器时间即可。


在此种情况下,会导致失败大大提升,即使只有较小比例的集群出现异常,也会使得请求大量失败,故而还需要其他手段检测到此类型的异常。



最后的总结


在实际应用中,客户端的并发数可能存在一直维持在一个较低的水平上,由于客户端的并发数并不能代表服务端的并发情况,会造成在客户端并发数较小的情况下,服务端实际负载不均衡的状况。


故而,最小并发数的负载均衡策略不适用于在客户端做负载均衡,且客户端负载较小的情况。这种情况下,目前采用随机的方法解决负载不均衡的问题。当然,在实际的分布式系统中,因为一个节点异常而导致其他节点的压力增大,可能会使其他节点的性能下降,他们之间的关系难以用上述的等式简单地描述。




相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
5天前
|
开发者 容器
Flutter&鸿蒙next 布局架构原理详解
本文详细介绍了 Flutter 中的主要布局方式,包括 Row、Column、Stack、Container、ListView 和 GridView 等布局组件的架构原理及使用场景。通过了解这些布局 Widget 的基本概念、关键属性和布局原理,开发者可以更高效地构建复杂的用户界面。此外,文章还提供了布局优化技巧,帮助提升应用性能。
64 4
|
5天前
|
存储 Dart 前端开发
flutter鸿蒙版本mvvm架构思想原理
在Flutter中实现MVVM架构,旨在将UI与业务逻辑分离,提升代码可维护性和可读性。本文介绍了MVVM的整体架构,包括Model、View和ViewModel的职责,以及各文件的详细实现。通过`main.dart`、`CounterViewModel.dart`、`MyHomePage.dart`和`Model.dart`的具体代码,展示了如何使用Provider进行状态管理,实现数据绑定和响应式设计。MVVM架构的分离关注点、数据绑定和可维护性特点,使得开发更加高效和整洁。
142 3
|
17天前
|
容器
Flutter&鸿蒙next 布局架构原理详解
Flutter&鸿蒙next 布局架构原理详解
|
19天前
|
负载均衡 安全 调度
Docker Swarm集群架构
【10月更文挑战第8天】
42 1
|
26天前
|
存储 分布式计算 druid
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
44 3
|
26天前
|
消息中间件 分布式计算 druid
大数据-154 Apache Druid 架构与原理详解 基础架构、架构演进
大数据-154 Apache Druid 架构与原理详解 基础架构、架构演进
27 2
|
21天前
|
存储 缓存 数据处理
深度解析:Hologres分布式存储引擎设计原理及其优化策略
【10月更文挑战第9天】在大数据时代,数据的规模和复杂性不断增加,这对数据库系统提出了更高的要求。传统的单机数据库难以应对海量数据处理的需求,而分布式数据库通过水平扩展提供了更好的解决方案。阿里云推出的Hologres是一个实时交互式分析服务,它结合了OLAP(在线分析处理)与OLTP(在线事务处理)的优势,能够在大规模数据集上提供低延迟的数据查询能力。本文将深入探讨Hologres分布式存储引擎的设计原理,并介绍一些关键的优化策略。
72 0
|
3天前
|
弹性计算 Kubernetes Cloud Native
云原生架构下的微服务设计原则与实践####
本文深入探讨了在云原生环境中,微服务架构的设计原则、关键技术及实践案例。通过剖析传统单体架构面临的挑战,引出微服务作为解决方案的优势,并详细阐述了微服务设计的几大核心原则:单一职责、独立部署、弹性伸缩和服务自治。文章还介绍了容器化技术、Kubernetes等云原生工具如何助力微服务的高效实施,并通过一个实际项目案例,展示了从服务拆分到持续集成/持续部署(CI/CD)流程的完整实现路径,为读者提供了宝贵的实践经验和启发。 ####
|
1天前
|
缓存 监控 API
探索微服务架构中的API网关模式
随着微服务架构的兴起,API网关成为管理和服务间交互的关键组件。本文通过在线零售公司的案例,探讨了API网关在路由管理、认证授权、限流缓存、日志监控和协议转换等方面的优势,并详细介绍了使用Kong实现API网关的具体步骤。
11 3
|
2天前
|
运维 NoSQL Java
后端架构演进:微服务架构的优缺点与实战案例分析
【10月更文挑战第28天】本文探讨了微服务架构与单体架构的优缺点,并通过实战案例分析了微服务架构在实际应用中的表现。微服务架构具有高内聚、低耦合、独立部署等优势,但也面临分布式系统的复杂性和较高的运维成本。通过某电商平台的实际案例,展示了微服务架构在提升系统性能和团队协作效率方面的显著效果,同时也指出了其带来的挑战。
25 4

热门文章

最新文章