Dubbo中高可用的那些概念

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: Dubbo中高可用的那些概念

本文SpringBoot使用2.1.0.RELEASE版本,整合的Hystrix使用2.0.2.RELEASE版本。

【1】Zookeeper宕机与dubbo直连

① zookeeper注册中心宕机,还可以消费dubbo暴露的服务

注意,这里是注册中心全部宕机(比如做了Zookeeper集群配置)。那么消费者还是可以消费提供者暴露的服务的。因为消费者消费服务,其实就是从注册中心拿到服务地址(URL),这个URL消费者是有本地缓存的

② 不使用注册中心,能否消费服务?

当然也是可以的!使用Dubbo直连配置— @Reference注解有个属性url,可以配置服务地址。

如下所示:

@Service
public class OrderServiceImpl implements OrderService {
  @Reference(url="127.0.0.1:20882")
  UserService userService;
  //...
}

还可以使用-D参数配置或-Ddubbo.resolve.file文件指定。

-D参数指定如下:

在 JVM 启动参数中加入-D参数映射服务地址,如:

java -Dcom.alibaba.xxx.XxxService=dubbo://localhost:20890


需要注意的是,通常只可能在测试环境中使用Dubbo直连!


③ 健壮性保障

  • 监控中心宕掉不影响使用,只是丢失部分采样数据
  • 数据库宕掉后,注册中心仍能通过缓存提供服务列表查询,但不能注册新服务
  • 注册中心对等集群,任意一台宕掉后,将自动切换到另一台
  • 注册中心全部宕掉后,服务提供者和服务消费者仍能通过本地缓存通讯
  • 服务提供者无状态,任意一台宕掉后,不影响使用
  • 服务提供者全部宕掉后,服务消费者应用将无法使用,并无限次重连等待服务提供者恢复

【2】Dubbo集群和负载均衡机制

① Dubbo集群

如下图所示,使用Dubbo集群提高高可用:

这里需要注意的是不同端口的MyDubboConfig中配置ApplicationConfig 名字应该一致(和Eureka中一样,集群配置时应用名字需要保持一致),否则Dubbo Admin会认为是不同应用。

@Configuration
public class MyDubboConfig {
  @Bean
  public ApplicationConfig applicationConfig() {
    ApplicationConfig applicationConfig = new ApplicationConfig();
    applicationConfig.setName("boot-user-service-provider");
    return applicationConfig;
  }
  //...
}

查看Dubbo Admin如下:


② Dubbo的负载均衡机制

Dubbo中默认采用的是基于权重的随机负载均衡机制-RandomLoadBalance

LoadBalance接口如下:

@SPI(RandomLoadBalance.NAME)
public interface LoadBalance {
    /**
     * select one invoker in list.
     *
     * @param invokers   invokers.
     * @param url        refer url
     * @param invocation invocation.
     * @return selected invoker.
     */
    @Adaptive("loadbalance")
    <T> Invoker<T> select(List<Invoker<T>> invokers, URL url, Invocation invocation) throws RpcException;
}

其实现类如下:


负载均衡机制类与名字对照如下:

  • RandomLoadBalance–random;
  • LeastActiveLoadBalance–leastactive;
  • RoundRobinLoadBalance–roundrobin;

RandomLoadBalance

基于权重的随机负载均衡机制–随机,按权重设置随机概率。在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动态调整提供者权重。

RoundRobinLoadBalance

基于权重的轮询负载均衡机制–轮循,按公约后的权重设置轮循比率。

存在慢的提供者累积请求的问题,比如:第二台机器很慢,但没挂,当请求调到第二台时就卡在那,久而久之,所有请求都卡在调到第二台上。

LeastActiveLoadBalance

最少活跃调用数,相同活跃数的随机,活跃数指调用前后计数差。

使慢的提供者收到更少请求,因为越慢的提供者的调用前后计数差会越大。

ConsistentHashLoadBalance


一致性 Hash,相同参数的请求总是发到同一提供者。


当某一台提供者挂时,原本发往该提供者的请求,基于虚拟节点,平摊到其它提供者,不会引起剧烈变动。算法参见:http://en.wikipedia.org/wiki/Consistent_hashing。


缺省只对第一个参数 Hash,如果要修改,请配置 <dubbo:parameter key="hash.arguments" value="0,1" />

缺省用 160 份虚拟节点,如果要修改,请配置 <dubbo:parameter key="hash.nodes" value="320" />


③ Dubbo设置负载均衡

官方文档配置负载均衡实例中详细说明了如何配置。

服务端服务级别

<dubbo:service interface="..." loadbalance="roundrobin" />

客户端服务级别

<dubbo:reference interface="..." loadbalance="roundrobin" />

服务端方法级别

<dubbo:service interface="...">
    <dubbo:method name="..." loadbalance="roundrobin"/>
</dubbo:service>

客户端方法级别

<dubbo:reference interface="...">
    <dubbo:method name="..." loadbalance="roundrobin"/>
</dubbo:reference>

如果使用注解,与标签一一对应即可,如下所示:


④ Dubbo设置权重

dubbo:serviceb标签(对应dubbo注解@Service)提供了weight属性配置,如下所示:


但是这种方式将会在代码中写死,建议采取第二种方式–在Dubbo Admin管理界面进行弹性设置。



【3】服务降级

当服务器压力剧增的情况下,根据实际业务情况及流量,对一些服务和页面有策略的不处理或换种简单的方式处理,从而释放服务器资源以保证核心业务正常运作或高效运作。

可以通过服务降级功能临时屏蔽某个出错的非关键服务,并定义降级后的返回策略。

向注册中心写入动态配置覆盖规则:

RegistryFactory registryFactory = ExtensionLoader.getExtensionLoader(RegistryFactory.class).getAdaptiveExtension();
Registry registry = registryFactory.getRegistry(URL.valueOf("zookeeper://10.20.153.10:2181"));
registry.register(URL.valueOf("override://0.0.0.0/com.foo.BarService?category=configurators&dynamic=false&application=foo&mock=force:return+null"));

其中:

  • mock=force:return+null 表示消费方对该服务的方法调用都直接返回 null 值,不发起远程调用。用来屏蔽不重要服务不可用时对调用方的影响。
  • 还可以改为 mock=fail:return+null 表示消费方对该服务的方法调用在失败后,再返回 null 值,不抛异常。用来容忍不重要服务不稳定时对调用方的影响。

还可以通过在Dubbo Admin界面进行服务降级(注意是消费者哦):

屏蔽”相当于mock=force:return+null,“容错”相当于mock=fail:return+null


【4】集群容错

在集群调用失败时,Dubbo 提供了多种容错方案,缺省为 failover 重试。

各节点关系:

  • 这里的 Invoker 是 Provider 的一个可调用 Service 的抽象,Invoker 封装了 Provider 地址及 Service 接口信息
  • Directory 代表多个 Invoker,可以把它看成 List<Invoker> ,但与 List 不同的是,它的值可能是动态变化的,比如注册中心推送变更
  • Cluster 将 Directory 中的多个 Invoker 伪装成一个 Invoker,对上层透明,伪装过程包含了容错逻辑,调用失败后,重试另一个
  • Router 负责从多个 Invoker 中按路由规则选出子集,比如读写分离,应用隔离等
  • LoadBalance 负责从多个 Invoker 中选出具体的一个用于本次调用,选的过程包含了负载均衡算法,调用失败后,需要重选

集群容错模式

Failover Cluster

失败自动切换,当出现失败,重试其它服务器。通常用于读操作,但重试会带来更长延迟。可通过 retries="2" 来设置重试次数(不含第一次)。

重试次数配置如下:

<dubbo:service retries="2" />

<dubbo:reference retries="2" />

<dubbo:reference>
    <dubbo:method name="findFoo" retries="2" />
</dubbo:reference>

Failfast Cluster

快速失败,只发起一次调用,失败立即报错。通常用于非幂等性的写操作,比如新增记录。

Failsafe Cluster

失败安全,出现异常时,直接忽略。通常用于写入审计日志等操作。

Failback Cluster

失败自动恢复,后台记录失败请求,定时重发。通常用于消息通知操作。

Forking Cluster

并行调用多个服务器,只要一个成功即返回。通常用于实时性要求较高的读操作,但需要浪费更多服务资源。可通过 forks=“2” 来设置最大并行数。

Broadcast Cluster

广播调用所有提供者,逐个调用,任意一台报错则报错 。通常用于通知所有提供者更新缓存或日志等本地资源信息。

集群模式配置

按照以下示例在服务提供方和消费方配置集群模式

<dubbo:service cluster="failsafe" />

<dubbo:reference cluster="failsafe" />

【5】和Hystrix整合

没错,就是那个社会我猪哥的“豪猪”–Hystrix。【4】中的集群容错模式通常是一些简单设置,实际项目中往往使用Hystrix来进行服务降级和容错处理。SpringCloud Hystrix使用参考博文 Hystrix断路器服务熔断与降级和HystrixDashboard。

Hystrix 旨在通过控制那些访问远程系统、服务和第三方库的节点,从而对延迟和故障提供更强大的容错能力。Hystrix具备拥有回退机制和断路器功能的线程和信号隔离,请求缓存和请求打包,以及监控和配置等功能。

① 配置spring-cloud-starter-netflix-hystrix

spring boot官方提供了对hystrix的集成,直接在pom.xml里加入依赖:

<dependency>
    <groupId>org.springframework.cloud</groupId>
     <artifactId>spring-cloud-starter-netflix-hystrix</artifactId>
     <version>2.0.2.RELEASE</version>
</dependency>

然后在Application类上增加@EnableHystrix来启用hystrix starter:

@EnableHystrix //支持Hystrix
@EnableDubbo(scanBasePackages={"com.web.gmall.service.impl"})//开启基于注解的dubbo功能
@SpringBootApplication
public class BootUserServiceProviderApplication {
  public static void main(String[] args) {
    SpringApplication.run(BootUserServiceProviderApplication.class, args);
  }
}

② 配置provider

如下所示,修改UserServiceImpl的getUserAddressList方法:

@Service(weight=200)
@Component
public class UserServiceImpl implements UserService {
  @HystrixCommand//使用Hystrix注解
  @Override
  public List<UserAddress> getUserAddressList(String userId) {
    System.out.println("UserServiceImpl......20880..");
    // TODO Auto-generated method stub
    UserAddress address1 = new UserAddress(1, "北京市昌平区宏福科技园综合楼3层", "1", "李老师", "010-56253825", "Y");
    UserAddress address2 = new UserAddress(2, "深圳市宝安区西部硅谷大厦B座3层(深圳分校)", "1", "王老师", "010-56253825", "N");
    /*try {
      Thread.sleep(4000);
    } catch (InterruptedException e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
    }*/
    //随机抛出异常
    if(Math.random()>0.5) {
      throw new RuntimeException();
    }
    return Arrays.asList(address1,address2);
  }
}

③ 配置消费者

对于Consumer端,则可以增加一层method调用,并在method上配置@HystrixCommand。当调用出错时,会走到fallbackMethod = "hello"的调用里。

@Service
public class OrderServiceImpl implements OrderService {
//  @Reference(url="127.0.0.1:20882")
  @Reference(loadbalance="roundrobin")
  UserService userService;
  @HystrixCommand(fallbackMethod="hello")
  @Override
  public List<UserAddress> initOrder(String userId) {
    System.out.println("用户id:"+userId);
//    1、查询用户的收货地址
    List<UserAddress> addressList = userService.getUserAddressList(userId);
    for (UserAddress userAddress : addressList) {
      System.out.println(userAddress.getUserAddress());
    }
    return addressList;
  }
  public List<UserAddress> hello(String userId) {
    // TODO Auto-generated method stub
    return Arrays.asList(new UserAddress(10, "测试地址", "1", "测试", "测试", "Y"));
  }
}

这样当provider抛出异常时,消费者那边调用fallback方法,显示自定义信息:


项目GitHub地址:点击下载


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
7月前
|
Dubbo Java 应用服务中间件
Dubbo第二讲:深入理解dubbo分布式服务框架/负载/容错/调优/高可用/dubbo网关/面试/技术选型
Dubbo第二讲:深入理解dubbo分布式服务框架/负载/容错/调优/高可用/dubbo网关/面试/技术选型
153 0
|
8月前
|
缓存 Dubbo 应用服务中间件
Dubbo + Nacos这么玩就失去高可用的能力了
酱香配拿铁喝了伤头,Dubbo配Nacos这么玩也会伤头。本文介绍Dubbo配合Nacos搭建的微服务系统,在Nacos-Server集群重启时出现的问题。过程中通过种种现象、猜测、翻看源码、实践,最终让Nacos-Server平滑重启。
|
8月前
|
Dubbo Java 应用服务中间件
Dubbo概念和基本框架结构
Dubbo概念和基本框架结构
50 0
|
11月前
|
存储 缓存 负载均衡
Dubbo核心概念
Dubbo核心概念
|
XML Dubbo 网络协议
Dubbo学习笔记(一)基本概念与简单使用
Dubbo学习笔记(一)基本概念与简单使用
Dubbo学习笔记(一)基本概念与简单使用
|
负载均衡 监控 Dubbo
Dubbo核心概念
Dubbo是一个分布式服务框架,以及SOA治理方案。其功能主要包括:高性能NIO通讯及多协议集成,服务动态寻址与路由,软负载均衡与容错,依赖分析与降级等。
|
9天前
|
Dubbo Java 应用服务中间件
微服务学习 | Springboot整合Dubbo+Nacos实现RPC调用
微服务学习 | Springboot整合Dubbo+Nacos实现RPC调用
|
5月前
|
Dubbo Java 应用服务中间件
阿里巴巴资深架构师深度解析微服务架构设计之SpringCloud+Dubbo
软件架构是一个包含各种组织的系统组织,这些组件包括Web服务器,应用服务器,数据库,存储,通讯层),它们彼此或和环境存在关系。系统架构的目标是解决利益相关者的关注点。