数据洞察创新挑战赛-智能运维赛新手训练营:课时1:微服务架构与混沌工程介绍
微服务架构与混沌工程介绍
内容介绍
一、 微服务架构
二、 混沌工程
一、微服务架构
首先,让我们看一下单体应用。单体应用通常出现在19世纪八九十年代,那时几乎所有应用程序都被封装在一个单一的结构中,有点像一列火车车厢,所有功能都被堆砌在一起,就像一列火车的车厢一样。在这种情况下,开发人员通常都必须基于同一个庞大的代码库进行开发,包括线上运维和故障排查都要依赖于这个单一的庞大应用。
这种情况下,无论是从可维护性、项目规模的依赖性,还是故障排查和运维等各个方面,都会面临各种各样的问题。
随着时间的推移,单体应用逐渐演变成了一种称为"微服务"的架构。相对于传统的单体应用,微服务架构会将整个业务应用拆分为多个结构,包括各种各样的模块,每个模块都经过独立设计和开发。
通常情况下,微服务架构非常适用于云环境中。
这种部署和运维方式,特别是在业务规模非常庞大的情况下,对于每个微服务应用模块,都可以独立部署和管理,这增加了整体的灵活性。最根本的原因之一是,微服务架构成功将原本高度耦合的单体应用拆分成了松散耦合的场景。
现在,让我们来定义一下微服务,微服务架构的核心思想是将业务逻辑模块和数据访问等各种功能拆分成独立的小的Microservice,每个小Microservice都有自己的职责和功能,相对来讲,整个数据的存储和访问都可以部署和访问一些分布式的各种各样的节点,整体的耦合度和扩展性会提高很多。
我们来看一下微服务架构的优势
第一个优势是,在单体架构下,通常每台主机都运行所有应用,因此每个模块的副本数都相同。然而,在实际场景中,不同服务或功能的访问负载对于资源需求通常不同。因此,在单体架构下很难实现按需的部署和运行。而在微服务架构下,通常可以在单个主机节点上运行多个微服务,并且可以根据需要灵活地调整每个服务的容量。
第二个优势是轻量化,在微服务架构中,我们引入了容器化场景,这意味着每个微服务可以在容器节点上独立执行。
此外,您还可以在同一台虚拟机上运行多个微服务,这有助于更有效地利用资源。
第三个优势是弹性伸缩,这意味着在业务规模增长或流量上升时,可以扩容机器以运行所需的微服务。
在业务低谷时,可以缩减服务。此外,我们可以利用云上的动态购买功能,例如在阿里云上,我们可以根据流量需求购买额外的ECS实例,然后将负载部署在其中。当流量下降时,可以释放这些资源,以最小化成本。
关于微服务架构的可用性,除了容错性外,部署和发布也变得更加容易。我们可以实现渐进式发布,把不同的service逐渐将流量切换到不同的版本。这种流量管理的模块确保在部署和发布过程中保持足够多的副本在运行,从而实现高可用性,达到99.9%或更高的可用性水平变得非常容易。此外,鲁棒性对于硬件故障等错误容忍程度也更高,通常可以容忍整个物理机甚至整个机架的故障。
此外,微服务架构的一个显著优势是容错性。无论是单个节点的问题,整个机房的故障,甚至整个可用区的问题,如果服务部署在多个不同的区域,它仍然可以正常运行。当然,前提是要确保足够的冗余,以便在出现硬件问题后能够迁移到预留的资源上。
另一个重要优势是微服务架构的语言无关性,这使得它更加开发者友好。无论使用哪种编程语言,都可以实现微服务,这为开发团队提供了更大的灵活性。
也就是说,每个不同的微服务都可以用不同的编程语言来实现。此外,前后端的实现也不受特定语言或技术的限制,例如后端数据库和消息队列等可以采用不同的实现方式。通常情况下,前端的编程语言更加灵活,没有明确的要求。微服务之间的通信通常通过网络来实现。下面是一个典型的微服务架构示例,包括从客户端到后端的外部流程,例如安卓和iOS应用程序,以及外部程序通过CDN或网关访问后端。
之后,会有一些负载均衡来分发数据。但在微服务架构中,还涉及到服务的注册、服务的发现以及服务变更和发布等模块,这些功能在云平台如阿里云上都有提供。在设计自己的微服务时,可以根据需要选择合适的模块。
当然,对于我们这次比赛的微服务,都是我们自行开发的。
但微服务并不是百分之百能够满足现代IT系统开发的所有需求。特别是如果没有深入了解微服务的特性并随意设计微服务架构,可能会出现混乱和低效的情况。
因此,在微服务设计时,并不一定要把每个服务拆分得非常小,数量非常多,并实现松散的部署。实际上,应该根据公司的业务场景来确定需要多少个具体的服务。每个服务之间的依赖应尽可能简洁和综合。
此外,微服务架构可能引入可观测性问题,因为在有许多服务的情况下,问题的定位和排查可能需要更多的时间和工具,尤其是在涉及多个节点和服务的复杂调用链中。一个地方出现问题可能会影响整个系统的可用性,因此可观测性问题非常重要。
在这方面,阿里云日志服务可以帮助您解决这些问题,无论是通过日志利用还是监控等能力,在后续的部分中,我们将讨论如何使用日志和快速定位系统问题。
二、混沌工程
另外一个话题是与工程相关的一些概念,主要围绕我们使用的混合工程工具展开。
第一个,让我们来探讨一下什么是混沌工程。混沌工程的引入主要是为了让我们更好地了解我们的应用程序以及它对错误的容忍程度。通常情况下,在系统部署和发布过程中,我们很难预测会出现哪些问题。如果没有经验来处理这些问题,我们很难知道我们的服务到底对于各种问题的容忍程度是多少。
因此,混沌工程的概念被引入,它允许一个人或工具充当坏人的角色,以随机或按一定规则对系统进行破坏,这可能包括模拟硬件故障、模拟CPU和内存负载、模仿外部服务不可用或数据库故障等。通过实验性的故障模拟,它可以让你的系统面对各种问题,观察系统对问题的容忍程度,或者说容错能力,以尽量减小对系统的影响。这就是混沌工程所带来的好处。
接下来,让我们看一下混沌工程的实际应用模型。
混沌工程的本质是要对系统进行破坏,或者产生随机的故障,以便观察系统对这些破坏的容忍程度或容错能力。
混沌实验的模型更多地从方法论的角度来看,以便更好地执行混沌工程。其中一个关键要点是实验模型,它包括实验行为规则、实验的范围、时间等要素,这实际上是一个标准化的实验模型定义。
其次,让我们思考一下实验模型的意义。实验模型的核心目的是使混沌工程的实施变得更加方便,并提供更强大的覆盖范围和能力。
这个工具的优势在于它能够更加规范和简洁,同时帮助我们发现更多的场景并积累经验。
在实施模型的应用方面,工程上需要做一些工作,但这个工具已经基本能够满足这些需求。
目前,它提供了多种环境下的故障注入功能,并内置了许多场景。此外,它还支持各种各样的参数,使您能够更好地模拟故障。事实上,有超过3000种这种参数可供选择,目前已有45家企业在使用这项能力。
ChaoBlade这个工具在2018年开始开发,并于2019年4月正式开源。
在初始阶段,这个工具支持了一些基础资源和Java,Docker等场景,并在开源时引入了CNCF Landscape语言支持。到了2021年,正式进入了ChaoBlade-box语言,并增加了许多功能和能力,包括对k8s场景的支持,以及开源的ChaoBlade-box,1.0-GA等等,目前ChaoBlade仅包含了自身的能力,还与其他外围系统结合,其中包括一个命令行界面以及更容易可视化的Web用户界面,使您能够更轻松地部署规则。
此外,您可以根据需要选择不同的部署目标,例如部署到Linux主机等。部署方式多种多样,包括手动部署和自动部署等。它支持许多不同的场景,其中一些是预定义的场景,可以直接使用,而另一些则提供了API,以编程方式控制工具的行为。
此外,它还可以暴露各种各样的指标,以便更方便地监控整个工具的运行情况。
当涉及到执行原理时,本质上是在目标上执行一些操作,例如在主机上模拟高负载的I/O和CPU,或者模拟一些故障,甚至节点不可用等。
尽管它实际上执行这些任务,但我们在上层进行了抽象,更多地采用了对象化和模块化的方式进行抽象。
首先,模块化的方法使我们能够动态扩展,支持更多的执行器、目标环境和命令,其次,对象化使我们更容易管理每次故障注入的对象,使其更容易进行增删改查。
另外,参数化是一种规范化的方法,有助于更好地理解和使用所有参数。本质上,ChaoBlade它有助于标准化和流程化,使其更易于使用。
这篇文章主要介绍了比赛的背景,微服务的概念以及混沌工程的重要性。混沌工程旨在模拟系统在随机错误情况下的表现,以确保微服务在这种不确定性情况下能够提供良好的外部服务的能力。