高可用架构(10)-Hystrix隔离策略、Command及资源池大小控制(上)

简介: 高可用架构(10)-Hystrix隔离策略、Command及资源池大小控制(上)

1 隔离策略 - ExecutionIsolationStrategy

执行HystrixCommand时使用

1.png

指定HystrixCommand.run()的资源隔离策略。

资源隔离,要解决的最核心的问题,就是将多个依赖服务的调用分别隔离到各自资源池内。避免对某个依赖服务的调用,因为依赖服务的接口调用的延迟或者失败,导致服务所有线程资源全部耗费在该服务的接口调用上。


1.1 THREAD - 线程池隔离

线程池隔离技术,并非指控制类似tomcat web容器的线程。严格意义说,hystrix的线程池隔离技

术,控制tomcat线程的执行。线程池满后,确保tomcat的线程不会因为依赖服务的接口调用延迟或故障,被hang住,fallback , ms。tomcat其他的线程不会卡死,快速返回,然后可以支撑其他的事情。


线程池和信号量做资源隔离、限流、容量的限制,默认的容量都是10。

线程池隔离技术是用自己的线程去执行调用的。

信号量隔离技术,是直接让tomcat的线程去调用依赖服务的。


默认的策略为线程池。


THREAD:在单独的线程上执行HystrixCommand#run方法,使用线程池大小限制并发

基于线程池

HystrixCommandProperties.Setter()
   .withExecutionIsolationStrategy(ExecutionIsolationStrategy.THREAD)

优点

支持排队和超时

支持异步调用

不足

线程调用会产生额外的性能开销。

容易由于创建大量线程而 OOM,所以 sentinel 只支持信号量隔离。


适用场景

适合绝大多数的场景,线程池,对依赖服务的网络请求的调用和访问,超时这种问题。


不受信客户

有限扇出

1.2 SEMAPHORE - 信号量隔离

SEMAPHORE:在调用线程上执行HystrixCommand#run方法,使用信号量许可计数限制


基于信号量

HystrixCommandProperties.Setter()
   .withExecutionIsolationStrategy(ExecutionIsolationStrategy.SEMAPHORE)

线程池机制,每个command运行在一个线程中,限流是通过线程池的大小来控制的

信号量机制,command是运行在调用线程中,但是通过信号量的容量来进行限流


优点

轻量,无额外开销。


不足

不支持任务排队和主动超时

不支持异步调用

适用场景

适合访问不是对外部依赖的访问,而是对内部比较复杂业务逻辑的访问。

但像这种访问,系统内部代码,其实不涉及任何的网络请求,那么只要做信号量的普通限流即可。

因为不需要去捕获类似超时的问题,算法效率要求不是太高。并发量突然太高,因为这里稍微耗时一些,导致很多线程卡在这里的话,不太好,所以进行一个基本的资源隔离和访问,避免内部复杂的低效率代码,导致大量线程夯死。


受信客户

高扇出(网关)

高频高速调用

使用信号量场景,通常是针对超大并发量,每个服务实例每秒都几百QPS。

此时如果用线程池,线程一般不会太多,可能撑不住高并发。要撑住,可能要耗费大量线程资源,那么就用信号量,来限流保护。


一般用信号量常见于那种基于纯内存服务,而不涉及到任何网络访问请求。


netflix有100+的command运行在40+的线程池中,只有少数command是不运行在线程池中的,就是从纯内存中获取一些元数据,或者是对多个command包装起来的facacde command,是用信号量限流的。

2.png

比如缓存服务,可能会将部分量特别少,访问又特别频繁的一些数据,放在纯内存。

一般我们在获取到商品数据之后,都要去获取商品是属于哪个地理位置,省,市,卖家的

可能在自己的纯内存中,比如就一个Map去获取。对于这种直接访问本地内存的逻辑,比较适合用信号量做一下简单的隔离。

优点在于,不用自己管理线程池,不用担心超时,信号量做隔离的话,性能会相对高。


坑点

3.png

2 command名称 & command组

2.1 command名称

每个command,都可设置自己的名称,同时可以设置一个自己的组。

private static final Setter cachedSetter = 
    Setter.withGroupKey(HystrixCommandGroupKey.Factory.asKey("ExampleGroup"))
        .andCommandKey(HystrixCommandKey.Factory.asKey("HelloWorld"));    
public CommandHelloWorld(String name) {
    super(cachedSetter);
    this.name = name;
}

2.2 command group

默认情况下,因为就是通过command group来定义一个线程池,而且还会通过command group聚合一些监控和报警信息。

同一command group中的请求,都会进入同一个线程池中。

目录
相关文章
|
1月前
|
SQL 监控 关系型数据库
MySQL主从复制:构建高可用架构
本文深入解析MySQL主从复制原理与实战配置,涵盖复制架构、监控管理、高可用设计及性能优化,助你构建企业级数据库高可用方案。
|
2月前
|
运维 监控 搜索推荐
MSE ZooKeeper:Flink 高可用架构的企业级选择
本文深入解析了 Apache Flink 架构中 ZooKeeper 的核心作用,包括 Leader 选举、Checkpoint 管理、作业协调及配置管理等关键功能,并结合金融风控与电商推荐等典型场景,分析了 ZooKeeper 在实际应用中的技术实现。
|
29天前
|
存储 监控 NoSQL
Redis高可用架构全解析:从主从复制到集群方案
Redis高可用确保服务持续稳定,避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余,哨兵模式支持自动故障转移,Cluster集群则提供分布式数据分片与水平扩展,三者层层递进,保障读写分离、容灾切换与大规模数据存储,构建高性能、高可靠的Redis架构体系。
|
5月前
|
监控 Linux 应用服务中间件
Linux多节点多硬盘部署MinIO:分布式MinIO集群部署指南搭建高可用架构实践
通过以上步骤,已成功基于已有的 MinIO 服务,扩展为一个 MinIO 集群。该集群具有高可用性和容错性,适合生产环境使用。如果有任何问题,请检查日志或参考MinIO 官方文档。作者联系方式vx:2743642415。
1740 57
|
8月前
|
机器学习/深度学习 计算机视觉 iOS开发
RT-DETR改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 RepViT 轻量级的Vision Transformers架构
RT-DETR改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 RepViT 轻量级的Vision Transformers架构
418 0
RT-DETR改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 RepViT 轻量级的Vision Transformers架构
|
3月前
|
文字识别 运维 监控
架构解密|一步步打造高可用的 JOCR OCR 识别服务
本文深入解析了JOCR OCR识别服务的高可用架构设计,涵盖从用户上传、智能调度、核心识别到容错监控的完整链路,助力打造高性能、低成本的工业级OCR服务。
175 0
架构解密|一步步打造高可用的 JOCR OCR 识别服务
|
4月前
|
缓存 负载均衡 监控
微服务架构下的电商API接口设计:策略、方法与实战案例
本文探讨了微服务架构下的电商API接口设计,旨在打造高效、灵活与可扩展的电商系统。通过服务拆分(如商品、订单、支付等模块)和标准化设计(RESTful或GraphQL风格),确保接口一致性与易用性。同时,采用缓存策略、负载均衡及限流技术优化性能,并借助Prometheus等工具实现监控与日志管理。微服务架构的优势在于支持敏捷开发、高并发处理和独立部署,满足电商业务快速迭代需求。未来,电商API设计将向智能化与安全化方向发展。
|
4月前
|
边缘计算 监控 搜索推荐
301重定向:技术原理、架构级策略与搜索引擎的隐秘对话
本文深入解析HTTP状态码301“永久重定向”的技术细节与实践应用,探讨其在浏览器、爬虫及服务器端的行为特性。内容涵盖Nginx与CDN边缘计算实现高效重定向的方案,权重传递衰减机制,以及大规模网站迁移的技术框架。同时,文章还介绍了HTTP/3时代的创新优化,如0-RTT跳转和服务端推送,并提供诊断工具和实践清单,助力精准实施与监控重定向策略。301重定向不仅是技术手段,更是流量与信任关系的重塑桥梁。
108 6
|
3月前
|
缓存 监控 API
电商API的微服务架构优化策略
随着电商快速发展,API成为连接用户、商家与系统的核心。本文探讨微服务架构下电商API的优化策略,分析高并发、低延迟与数据一致性等挑战,并提供服务拆分、缓存异步、监控容器化等实践方案,助力构建高性能、高可用的电商系统,提升用户体验与业务效率。
95 0
|
6月前
|
消息中间件 存储 设计模式
RocketMQ原理—5.高可用+高并发+高性能架构
本文主要从高可用架构、高并发架构、高性能架构三个方面来介绍RocketMQ的原理。
1993 21
RocketMQ原理—5.高可用+高并发+高性能架构