【SpringCloud】Ribbon负载均衡原理、负载均衡策略、饥饿加载

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
EMR Serverless StarRocks,5000CU*H 48000GB*H
应用型负载均衡 ALB,每月750个小时 15LCU
简介: 【SpringCloud】Ribbon负载均衡原理、负载均衡策略、饥饿加载

一、 Ribbon负载均衡原理

1.1 负载均衡流程

在之前的远程调用中,有一个order-service服务需要调用user-service,这个user-service有两个不同的端口号,而在order-service的请求路径中是通过String url = "http://userservice/user/" + order.getUserId();的方式发送http请求,这时我们需要知道这个url字符串中的http://userservice/user/是否是一个真实可用的地址,显然它不是一个真实可用的地址,所以当order-service发起请求时是不会到达user-service的,因此,在这两者之间一定会有一个组件把它拦截下来做一定的处理从而找到真实的ip端口,Ribbon就是负责做这个处理的,Ribbon通过order-service发过来的url得到需要请求的服务,然后再去eureka注册中心找到对应的服务,拉取服务给到order-service,拉取到的服务可能是多个,这时Ribbon就会对多个服务进行负载均衡,挑一个返回给order-service。



1.2 负载均衡原理

在order-service的启动类中,注入了RestTemplate的bean,并给这个bean添加了@LoadBalanced注解,这个注解就是一个标记,表示这个RestTemplate发起的请求要被Ribbon拦截和处理,具体的拦截动作可以根据源码来分析:

  • 以idea来演示拦截过程:
  • 在idea中双击shift,搜索LoadBalancerInterceptor.java:


  • 这个类实现了客户端http请求拦截器的接口:


  • 实现了该接口中的方法,我们通过打断点来分析Ribbon负载均衡原理:

  • 当刷新浏览器时,会直接跳转到断点处:


  • 继续调试代码,得到userservice/user/1:


  • 继续调试代码会得到服务的名称userservice:


  • 找到了服务的名称,接下来就可以去eureka进行服务的拉取,这时会将userservice交给loadBalancer,也就是Ribbon负载均衡:


  • 跟进这个方法继续调试,这时进入了RibbonLoadBalancerClient.java中的excute方法,excute中有一个参数(服务id),会将这个参数传给getLoadBalancer方法,去处理,执行完后会得到一个getLoadBalancer对象,这个对象的名字叫做DynamicServerListLoadBalancer(动态服务列表负载均衡),在它里面有一个allServerList的参数,保存了所有的userservice服务的信息




  • 经过这步操作就可以根据服务名称拉取到了服务列表,下一步就是负载均衡,跟进getServer继续调试观察:



  • 一步步跟进,找到了一个rule.choose的方法,这个rule就是从DynamicServerList选择的规则,这个rule的类型是IRule的接口,所以负载均衡的策略是由IRule来决定的


  • 继续调试,会返回一个选择的service:


  • 接下来就可以根据真实的地址拿到相应的服务了

二、Ribbon负载均衡策略

内置负载均衡规则类 规则描述
RoundRobinRule 简单轮询服务列表来选择服务器。它是Ribbon默认的负载均衡规则。
AvailabilityFilteringRule 对以下两种服务器进行忽略:(1)在默认情况下,这台服务器如果3次连接失败,这台服务器就会被设置为“短路”状态。短路状态将持续30秒,如果再次连接失败,短路的持续时间就会几何级地增加。(2)并发数过高的服务器。如果一个服务器的并发连接数过高,配置了AvailabilityFilteringRule规则的客户端也会将其忽略。并发连接数的上限,可以由客户端的<clientName>,<clientConfigNamespace>,ActiveConnectionsLimit属性进行配置。
WeightedResponseTimeRule 为每一个服务器赋予一个权重值。服务器响应时间越长,这个服务器的权重就越小。这个规则会随机选择服务器,这个权重值会影响服务器的选择。
ZoneAvoidanceRule 以区域可用的服务器为基础进行服务器的选择。使用Zone对服务器进行分类,这个Zone可以理解为一个机房、一个机架等。而后再对Z0one内的多个服务做轮询。
BestAvailableRule 忽略哪些短路的服务器,并选择并发数较低的服务器
RandomRule 随机选择一个可用的服务器
RetryRule 重试机制的选择逻辑

2.1 定义IRule修改负载均衡规则

  • 方式一: 在order–service中的OrderApplication类中,定义一个新的IRule:
@Bean
public IRule randomRule() {
   return new RandomRule();
}
  • 方式二: 配置文件方式:在order–servicel的application.yml文件中,添加新的配置也可以修改规则:
userservice:
  ribbon:
    NFLoadBalancerRuleClassName: com.netflix.loadbalancer.RandomRule # 负载均衡规则

三 、饥饿加载

  • Ribbon默认是采用懒加载,即第一次访问时才会去创建LoadBalanceClient,请求时间会很长。
  • 第一次加载,耗时很长:

  • 第二次加载,耗时变短:


  • 而饥饿加载则会在项目启动时创建,降低第一次访问的耗时,通过下面配置开启饥饿加载:
ribbon:
  eager-load:
    enabled: true # 开启饥饿加载
    clients: 
      - userservice # 指定饥饿加载的服务名称
      - xxservice
  • 项目启动就加载好


  • 此时第一次加载浏览器比之前缩减了一半时间,由于还需要加载其他文件,所以这里看起来时间也是很久,但比之前确实缩减了,速度也得到了一定的提升:


相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
11天前
|
负载均衡 Java Nacos
Ribbon负载均衡
Ribbon负载均衡
20 1
Ribbon负载均衡
|
9天前
|
负载均衡 监控 网络协议
SpringCloud之Ribbon使用
通过以上步骤,就可以在Spring Cloud项目中有效地使用Ribbon来实现服务调用的负载均衡,提高系统的可靠性和性能。在实际应用中,根据具体的业务场景和需求选择合适的负载均衡策略,并进行相应的配置和优化,以确保系统的稳定运行。
34 15
|
9天前
|
负载均衡 算法 Java
除了 Ribbon,Spring Cloud 中还有哪些负载均衡组件?
这些负载均衡组件各有特点,在不同的场景和需求下,可以根据项目的具体情况选择合适的负载均衡组件来实现高效、稳定的服务调用。
23 5
|
1月前
|
负载均衡 应用服务中间件 nginx
Nginx的6大负载均衡策略及权重轮询手写配置
【10月更文挑战第9天】 Nginx是一款高性能的HTTP服务器和反向代理服务器,它在处理大量并发请求时表现出色。Nginx的负载均衡功能可以将请求分发到多个服务器,提高网站的吞吐量和可靠性。以下是Nginx支持的6大负载均衡策略:
133 7
|
1月前
|
负载均衡 算法 Java
腾讯面试:说说6大Nginx负载均衡?手写一下权重轮询策略?
尼恩,一位资深架构师,分享了关于负载均衡及其策略的深入解析,特别是基于权重的负载均衡策略。文章不仅介绍了Nginx的五大负载均衡策略,如轮询、加权轮询、IP哈希、最少连接数等,还提供了手写加权轮询算法的Java实现示例。通过这些内容,尼恩帮助读者系统化理解负载均衡技术,提升面试竞争力,实现技术上的“肌肉展示”。此外,他还提供了丰富的技术资料和面试指导,助力求职者在大厂面试中脱颖而出。
腾讯面试:说说6大Nginx负载均衡?手写一下权重轮询策略?
|
2月前
|
负载均衡 Java 对象存储
负载均衡策略:Spring Cloud与Netflix OSS的最佳实践
负载均衡策略:Spring Cloud与Netflix OSS的最佳实践
49 2
|
2月前
|
负载均衡 Java Nacos
SpringCloud基础1——远程调用、Eureka,Nacos注册中心、Ribbon负载均衡
微服务介绍、SpringCloud、服务拆分和远程调用、Eureka注册中心、Ribbon负载均衡、Nacos注册中心
SpringCloud基础1——远程调用、Eureka,Nacos注册中心、Ribbon负载均衡
|
3月前
|
负载均衡 算法 Java
SpringCloud之Ribbon使用
通过 Ribbon,可以非常便捷的在微服务架构中实现请求负载均衡,提升系统的高可用性和伸缩性。在实际使用中,需要根据实际场景选择合适的负载均衡策略,并对其进行适当配置,以达到更佳的负载均衡效果。
59 13
|
2月前
|
负载均衡 Java 开发者
Ribbon框架实现客户端负载均衡的方法与技巧
Ribbon框架为微服务架构中的客户端负载均衡提供了强大的支持。通过简单的配置和集成,开发者可以轻松地在应用中实现服务的发现、选择和负载均衡。适当地使用Ribbon,配合其他Spring Cloud组件,可以有效提升微服务架构的可用性和性能。
32 0
|
3月前
|
负载均衡 应用服务中间件 Linux
在Linux中,Nginx如何实现负载均衡分发策略?
在Linux中,Nginx如何实现负载均衡分发策略?