微服务架构:稳定性设计

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 通过依赖的管理,我们能够知道,当前系统调用了哪些服务,被哪些服务调用。接下来,我们便可以根据当前系统所依赖的服务,以及系统的流程,判断依赖的服务是否影响应用的流程,以此来决定当前应用依赖的优先级。

服务分级与容量规划

       

      通过依赖的管理,我们能够知道,当前系统调用了哪些服务,被哪些服务调用。接下来,我们便可以根据当前系统所依赖的服务,以及系统的流程,判断依赖的服务是否影响应用的流程,以此来决定当前应用依赖的优先级。


      对于服务提供者来说,需要清楚了解当前的服务到底被多少人调用,并建立应用白名单机制,服务调用需要事先申请,以便将调用方增加到白名单当中进行管理和容量规划。为保障系统稳定,对于未知的调用者,最好的方式便是直接拒绝,以免给系统带来不确定风险。如果没有事先的容量规划,当未知的调用者流量突增,很可能将系统拖垮。


      服务提供者也需要对服务消费者的优先级进行区分,哪些调用将影响核心链路,哪些调用是非核心链路。当系统压力过大,无法承载的时候,必须 优先确保重要等级高的应用,核心的调用链路优先确保畅通,而对于重要性不那么高的应用,则可以暂时丢车保帅。


优雅降级


      当依赖的服务出现不稳定,响应缓慢或者调用超时,或者依赖系统宕机,当前的系统需要能够及时感知到并进行相应处理,否则,大量超时的调用,有可能将当前系统的线程和可用连接数用完,导致新的请求进不来,服务僵死,这便是故障传递。如果处理不及时故障的传递可将一个非核心链路的问题扩大,引起核心节点故障,最终形成多米诺骨牌效应,使得整个集群都不能对外提供服务。


      这样,服务调用优雅降级的重要性便体现出来了。对于调用超时的非核心服务,可以设定一个阀值,如果调用超时的次数超过这个阀值,便自动将该服务降级。此时,服务调用者跳过对该服务的调用,并指定一个休眠的时间点,当时间点过了以后,再次对该服务进行重试,如果服务恢复,则取消降级,否则,继续保持该服务的降级状态,直到所依赖的服务故障恢复。这样,便可以一定程度上避免故障传递的现象发生。


开关


      当系统负载较高,即将突破警戒水位的时候,如何通过实时地屏蔽一些非核心链路的调用,降低系统的负载呢?这个时候,需要系统预先定义一些开关,来控制程序的服务提供策略。开关通过修改一些预先定义好的全局变量,来控制系统的关键路径和逻辑,比如,可以定义一个是否允许某一个级别的应用调用当前服务的开关,当系统处于流量高峰期的时候,将非核心链路的调用屏蔽,等高峰期过去之后,再将相应的开关打开。


      当然 ,同一个应用,可能也会对外提供多个服务,如果服务耗费系统资源较多,且又不影响系统核心链路,这时,也可以将一些非核心的服务关闭掉,以减轻系统的负担,有效的提高系统对核心应用的服务能力。


建立服务监控、统计、报表

 

       服务运行期间,需要对服务器相应指标进行监控,如系统load、磁盘利用率、内存占用率、网络流量、QPS/TPS 等。


       对于服务的调用,需要有统计的报表,按照小时/日/周/月 展示 ,并且通过设置异常情况监控,如流量突增突降,系统要能够及时报警。


应用预案


     紧急情况(如双十一、双十二、热点事件等)并不是时时刻刻都发生,大部分人在第一次面对突发事件时,难免会显得手足无措。因此,要想在系统出现故障的情况下能够处变不惊,沉着应对,将损失降到最低,首先得准备一份应急预案,并且,得进行经常性的故障演练,以熟悉各种情况下对应的应急预案的操作流程和规范,避免紧急情况下错误的决策致使损失扩大,并且在实际操作中也能够积累经验。


     应急预案中需要明确的规定服务的级别,梳理清楚核心应用的调用链路,对于每一种故障,都做出合理的假设和有针对性的处理方法,对于级别低的调用和功能,事先准备好屏蔽的开关和接口。


场景和问题


        以下问题供大家思考


  • 场景一:假设某服务最大承受10 000TPS,如果超出是排队等待还是保证10 000TPS范围内请求正常,其他请求直接拒绝?
  • 场景二:非核心服务流量洪峰导致核心服务受到影响,如何解决?
  • 场景三:某服务有几百个消费者,如果其中一个消费者要求升级,满足一个临时活动,是否要求所有服务同步升级?
相关文章
|
6天前
|
敏捷开发 监控 数据管理
构建高效微服务架构的五大关键策略
【4月更文挑战第20天】在当今软件开发领域,微服务架构已经成为一种流行的设计模式,它允许开发团队以灵活、可扩展的方式构建应用程序。本文将探讨构建高效微服务架构的五大关键策略,包括服务划分、通信机制、数据管理、安全性考虑以及监控与日志。这些策略对于确保系统的可靠性、可维护性和性能至关重要。
|
6天前
|
消息中间件 监控 持续交付
构建高效微服务架构:后端开发的进阶之路
【4月更文挑战第20天】 随着现代软件开发的复杂性日益增加,传统的单体应用已难以满足快速迭代和灵活部署的需求。微服务架构作为一种新兴的分布式系统设计方式,以其独立部署、易于扩展和维护的特点,成为解决这一问题的关键。本文将深入探讨微服务的核心概念、设计原则以及在后端开发实践中如何构建一个高效的微服务架构。我们将从服务划分、通信机制、数据一致性、服务发现与注册等方面入手,提供一系列实用的策略和建议,帮助开发者优化后端系统的性能和可维护性。
|
1天前
|
监控 测试技术 持续交付
探索现代微服务架构的最佳实践
【4月更文挑战第25天】 随着软件开发领域不断演进,微服务架构已成为设计灵活、可扩展且高度可维护系统的首选方案。本文将深入探讨构建和部署微服务时的关键最佳实践,涵盖从服务划分原则到持续集成/持续部署(CI/CD)的流程,再到监控与日志记录的策略。我们的目标是为开发者提供一套实用的指南,帮助他们在构建未来的应用程序时做出明智的架构选择,并确保这些系统能够快速响应市场和技术的变化。
|
2天前
|
持续交付 API 开发者
构建高效微服务架构:后端开发的新范式
【4月更文挑战第24天】 随着现代软件系统的复杂性日益增加,传统的单体应用已难以满足快速迭代与灵活扩展的需求。微服务架构作为一种新兴的软件开发模式,以其服务的细粒度、独立部署和弹性伸缩等优势,正在逐渐成为后端开发的重要趋势。本文将深入探讨微服务架构的设计原则、关键技术以及在实际业务中的应用实践,旨在为后端开发者提供构建和维护高效微服务架构的参考指南。
|
3天前
|
监控 API 持续交付
构建高效微服务架构:后端开发的新趋势
【4月更文挑战第23天】 随着现代软件开发实践的不断演进,微服务架构已经成为企业追求敏捷、可扩展和弹性解决方案的首选。本文深入探讨了如何构建一个高效的微服务架构,涵盖了关键的设计原则、技术选型以及实践建议。通过分析微服务的独立性、分布式特性和容错机制,我们将揭示如何利用容器化、服务网格和API网关等技术手段,来优化后端系统的可维护性和性能。文章旨在为后端开发人员提供一套全面的指南,以应对不断变化的业务需求和技术挑战。
|
8天前
|
机器学习/深度学习 运维 Prometheus
探索微服务架构下的系统监控策略
【4月更文挑战第18天】在当今快速迭代和持续部署盛行的软件工程实践中,微服务架构因其灵活性和可扩展性受到企业青睐。然而,随着服务的细粒度拆分和网络通信的增加,传统的监控手段已不再适用。本文将探讨在微服务环境中实施有效系统监控的策略,包括日志聚合、性能指标收集、分布式追踪以及异常检测等关键技术实践,旨在为读者提供构建稳定、可靠且易于维护的微服务系统的参考指南。
14 0
|
8天前
|
监控 持续交付 开发者
构建高效微服务架构:后端开发的新趋势
【4月更文挑战第18天】在数字化转型的浪潮中,微服务架构已成为企业提升系统灵活性、加速产品迭代的关键。此文深入探讨了构建高效微服务架构的实践方法,包括服务划分原则、容器化部署、持续集成/持续部署(CI/CD)流程以及监控与日志管理等关键技术点。通过分析具体案例,揭示了微服务在提高开发效率、降低维护成本及促进团队协作方面的显著优势。
|
9天前
|
负载均衡 Java 开发者
细解微服务架构实践:如何使用Spring Cloud进行Java微服务治理
【4月更文挑战第17天】Spring Cloud是Java微服务治理的首选框架,整合了Eureka(服务发现)、Ribbon(客户端负载均衡)、Hystrix(熔断器)、Zuul(API网关)和Config Server(配置中心)。通过Eureka实现服务注册与发现,Ribbon提供负载均衡,Hystrix实现熔断保护,Zuul作为API网关,Config Server集中管理配置。理解并运用Spring Cloud进行微服务治理是现代Java开发者的关键技能。
|
10天前
|
监控 JavaScript 安全
构建微服务架构下的API网关
【4月更文挑战第15天】在微服务架构中,API网关扮演着至关重要的角色。它作为系统的唯一入口,不仅负责请求的路由、负载均衡和认证授权,还涉及到监控、日志记录和服务熔断等关键功能。本文将探讨如何构建一个高效且可靠的API网关,涵盖其设计原则、核心组件以及实现策略,旨在为后端开发人员提供一套实用的指导方案。
26 4
|
11天前
|
监控 负载均衡 API
构建高性能微服务架构:后端开发的最佳实践
【4月更文挑战第14天】 在当今快速发展的软件开发领域,微服务架构已成为构建可扩展、灵活且容错的系统的首选方法。本文深入探讨了后端开发人员在设计和维护高性能微服务时需要遵循的一系列最佳实践。我们将从服务划分原则、容器化部署、API网关使用、负载均衡、服务监控与故障恢复等方面展开讨论,并结合实际案例分析如何优化微服务性能及可靠性。通过本文的阅读,读者将获得实施高效微服务架构的实用知识与策略。