Chaos带你快速上手混沌工程实战体验2

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
简介: Chaos带你快速上手混沌工程实战体验2

5. 自动恢复场景演练

在分布式系统设计中有一种容错策略是故障恢复(failback),通过健康检查等机制,能在机器或者应用出现问题时自动的进行重新部署。我们利用Chaos进行故障演练,测试我们的系统是否具有这样的能力

  1. 进行稳态假设。定义一个稳态指标,来评估系统的健康状态并且在实施混沌过程当中进行监控和处理。

我们将稳态定义为 能访问我们的frontend界面,并正常使用各种购物车、下单等功能。

  1. 模拟真实事件。

2.1 切换回应用高可用服务控制台。在左侧导航栏中,单击我的空间

2.2 在我的空间页面,在新建演练下拉列表中单击新建空白演练

2.3 在演练配置页面,完成以下操作:

(1)设置演练名称

(2)在演练对象配置向导中,演练应用选择frontend,应用分组选择frontend-group,机器列表选择任意一台机器,单击添加演练内容

(3)在选择演练故障对话框中,选择JAVA应用>延迟>容器内Java延迟,单击确定

(4)在演练配置页面,单击容器内Java延迟

(5)在容器内Java延迟面板中,依次输入类的全限定名方法名进程关键字目标容器名称,单击关闭

  • 类的全限定名:输入com.alibabacloud.hipstershop.web.HealthController
  • 方法名:输入health
  • 进程关键字:输入java
  • 目标容器名称:选择frontend

(6)在演练内容区域中,单击保存

(7)单击下一步

(8)在全局配置监控策略区域,单击新增策略

(9)在新增策略对话框中,选择业务监控>业务状态观察(Http),单击确定

(10)在业务状态观察(Http)面板中,请求类型选择get,URL输入http://<frontend的外部端点>/

说明 :

frontend的外部端点在容器服务ACK控制台frontend服务的访问方式页签中获取。

(11)在全局配置配置向导中,单击下一步

(12)在成功对话框中,单击演练详情

2.4 在演练详情页面,单击演练

2.5 在开始执行演练对话框中,单击确认

  1. 检测实验影响。

3.1 在演练记录详情页面,查看业务状态观测(Http)时序图。您可以看到health接口的调用在遇到故障之后,先降低,然后马上自动恢复至正常状态,说明我们的设计奏效了。

3.2 切换回容器服务ACK控制台,在frontend服务页面,单击事件页签。

您可以看到frontend自动的进行了扩容。

  1. 终止实验。

4.1 切换回应用高可用服务控制台。在演练记录详情页面中,单击终止

4.2 在停止演练对话框中,单击确定

4.3 等待演练场景终止之后,在结果反馈对话框中,单击确定


6. 强弱依赖场景演练

在微服务架构中,各个服务之间存在许多依赖关系。但是当一个不重要的弱依赖宕机时,一个健壮的系统应该仍然能够正常的运行。我们利用Chaos进行故障演练,测试我们的系统处理强弱依赖的能力如何。

  1. 进行稳态假设。

1.1 切换回容器服务ACK控制台,单击frontend的外部端点。

1.2 在Hipster Shop页面,多次刷新页面。您可以看到页面商品的排序每一次都不一样。您可以理解为商品推荐服务会根据个性化进行推荐,使产品存在优先级。因此我们将稳态定义为,每次刷新页面,商品的排序不同。

  1. 模拟真实事件。

2.1 切换回应用高可用服务控制台。在左侧导航栏,单击我的空间

2.2 在我的空间页面,在新建演练下拉列表中单击新建空白演练

2.3 在演练配置页面,完成以下操作:

(1)设置演练名称

(2)在演练对象配置向导中,演练应用选择recommendationservice,应用分组选择recommendationservice-group,机器列表选择机器,单击添加演练内容

(3)在选择演练故障对话框中,选择JAVA应用>延迟>容器内Java延迟,单击确定

(4)在演练内容区域中,单击容器内Java延迟

(5)在容器内Java延迟面板中,依次输入类的全限定名方法名、进程关键字目标容器名称,单击关闭。

  • 类的全限定名:输入com.alibabacloud.hipstershop.recomendationservice.service.RecommendationServiceImpl
  • 方法名:输入sortProduct
  • 进程关键字:输入java
  • 目标容器名称:选择recommendationservice

(6)在演练对象中,单击保存

(7)单击下一步

(8)在全局配置中,单击下一步

(9)在成功对话框中,单击演练详情

2.4 在演练详情页面,单击演练

2.5 在开始执行演练对话框中,单击确认

  1. 检测实验影响。

3.1 切换回容器服务ACK控制台。在无状态页面,单击frontend

3.2 在frontend页面,单击访问方式页签,然后单击frontend的外部端点。

3.3 在Hipster Shop页面,多次刷新页面。您可以发现每次刷新,产品顺序不会改变。说明推荐服务宕机,但并没有影响别的服务。

  1. 终止实验。

4.1 切换至应用高可用服务控制台,在演练记录详情页面,单击终止

4.2 在停止演练对话框中,单击确定

4.3 在结果反馈对话框中,单击确定

7. 失败重试场景演练

在微服务架构中,一个大系统被拆分成多个小服务,小服务之间存在大量RPC调用,经常可能因为网络抖动等原因导致RPC调用失败,这时候使用重试机制可以提高请求的最终成功率,减少故障影响,让系统运行更稳定。我们通过利用Chaos,给系统注入失败,看看系统失败重试的性能如何。

  1. 进行稳态假设。

1.1 切换回容器服务ACK控制台,在无状态页面,单击cartservice

1.2 在cartservice页面,单击伸缩

1.3 在伸缩对话框中,将所需容器组数量更改为2,单击确定

待状态变为Running,表示容器组扩容成功。

1.4 切换至Hispter Shop页面,单击购物车

返回如下页面,表示购物车服务正常。因此我们将稳态定义为,能够正常使用frontend的购物车功能。

  1. 模拟真实事件。

2.1 切换回应用高可用服务控制台,在左侧导航栏,单击我的空间

2.2 在我的空间页面,在新建演练下拉列表中单击新建空白演练

2.3 在演练配置页面,完成以下操作:

(1)设置演练名称

(2)在演练对象中,演练应用选择cartservice,应用分组选择cartservice-group,机器列表选择任意一台机器,单击添加演练内容

(3)在选择演练故障对话框中, 选择JAVA应用>抛异常>容器内Java延迟抛出自定义异常,单击确定

(4)在演练内容区域中,单击容器内Java延迟抛出自定义异常

(5)在容器内Java延迟抛出自定义异常面板中,依次输入方法名、类的全限定名异常进程关键字目标容器名称,单击关闭

  • 方法名:输入viewCart
  • 类的全限定名:输入com.alibabacloud.hipstershop.cartserviceprovider.service.CartServiceImpl
  • 异常:输入java.lang.Exception
  • 进程关键字:输入java
  • 目标容器名称:选择cartservice。

(6)在演练对象中,单击保存

(7)单击下一步

(8)在全局配置中,单击下一步

(9)在成功对话框中,单击演练详情

2.4 在演练详情页面,单击演练

2.5 在开始执行演练对话框中,单击确认

  1. 检测实验影响。

3.1 切换至Hispter Shop页面,单击购物车

返回如下页面,您发现无法访问购物车。这是因为流量并没有切换到没有宕机的那台机器,同时 说明我们的系统并没有失败重试的能力,或者是一开始就没有设计,或者是没有生效。通过这次故障注入,我们发现了系统的缺陷。

3.2 切换至应用高可用服务控制台,在演练记录详情页面,单击终止

3.3 在停止演练对话框中,单击确定

3.4 在结果反馈对话框中,单击确定

返回如下页面,表示演练结束。


8. 微服务演练

在体验了上述三个场景演练之后,我们对混沌工程有了初步的了解,也掌握了应用高可用服务的基本功能。但是这样手动部署参数的过程还是比较繁琐的。接下来我们体验一下更为方便快捷的强弱依赖治理。

  1. 切换至应用高可用服务控制台。在左侧导航栏中,单击微服务演练

并选择强弱依赖治理页面。

  1. 强弱依赖治理页面中,单击创建治理方案

  1. 创建治理方案的配置向导页面,完成以下操作。

3.1 在应用接入中,自定义方案名称,治理应用选择frontend,单击下一步

3.2 在强弱依赖治理以30天为治理周期对话框中,单击确认

3.3 在依赖分析中,等待分析完成,单击下一步

3.4 在依赖预判中,自行选择依赖对象的强弱依赖预判,例如nacos-standalone和checkoutservice的强弱依赖预判可选择强依赖,其他依赖对象默认弱依赖,然后单击下一步

3.5 在依赖验证中,选择任意用例进行验证。例如选择frontend与nacos-standalone强弱依赖验证用例,单击去验证

3.6 在去验证前的参数确认对话框中,单击确定验证

注意:

如果窗口没有跳转,请注意跳转是否被拦截,请手动解除

  1. 在演练详情页面中,单击演练

  1. 开始执行演练对话框中,单击确认

  1. 切换至Hipster Shop页面,单击网页的任意功能。您可以发现Hipster Shop网页和相关功能均可以正常访问,说明frontend服务与nacos-standalone服务是弱依赖关系。
  2. 切换至应用高可用服务控制台,在演练记录详情页面,单击终止

  1. 停止演练对话框中,单击确定

  1. 结果反馈对话框中,结论选择不符合预期验证结果选择弱依赖,单击确定,返回强弱依赖治理

  1. 在依赖验证中,您可以验证其他用例,验证完成后,单击方案归档

  1. 您确定要归档此方案吗对话框中,单击确认归档

返回如下页面,表示归档完毕。

您还可以通过使用MSHA快速体验异地、同城多活容灾。动手实验室地址:https://developer.aliyun.com/adc/scenario/998a993afe624e3eadcf5f8f6b791064

相关实践学习
巧用云服务器ECS制作节日贺卡
本场景带您体验如何在一台CentOS 7操作系统的ECS实例上,通过搭建web服务器,上传源码到web容器,制作节日贺卡网页。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
测试技术 调度 C++
六年打磨!阿里开源混沌工程工具 ChaosBlade
减少故障的最好方法就是让故障经常性的发生。通过不断重复失败过程,持续提升系统的容错和弹性能力。今天,阿里巴巴把六年来在故障演练领域的创意和实践汇浓缩而成的工具进行开源,它就是 “ChaosBlade”。如果你想要提升开发效率,不妨来了解一下。
11921 0
|
4月前
|
tengine 算法 安全
ChaosBlade 是阿里巴巴开源的混沌工程工具
【2月更文挑战第23天】ChaosBlade 是阿里巴巴开源的混沌工程工具
114 1
|
4月前
|
Kubernetes 监控 容器
K8S故障注入混沌工程开源平台ChaosMesh
总之,ChaosMesh作为一个Kubernetes混沌工程平台,为用户提供了测试和验证Kubernetes集群的可靠性的工具和框架,有助于提高系统的稳定性和性能。
209 0
|
监控 数据可视化 开发者
[译]混沌游戏日:混沌的手把手指南
> 原文:Chaos Gamedays: A Step-by-Step Guide to Chaos > [https://dzone.com/articles/chaos-gamedays-a-step-by-step-guide-to-chaos](https://dzone.com/articles/chaos-gamedays-a-step-by-step-guide-to-ch
481 0
|
容器 Cloud Native Perl
面向云原生的混沌工程工具-ChaosBlade
作者 | 肖长军(穹谷)阿里云智能事业群技术专家   导读:随着云原生系统的演进,如何保障系统的稳定性受到很大的挑战,混沌工程通过反脆弱思想,对系统注入故障,提前发现系统问题,提升系统的容错能力。ChaosBlade 工具可以通过声明式配置执行混沌实验,简单高效。
|
自然语言处理 Kubernetes 监控
ChaosBlade:从混沌工程实验工具到混沌工程平台
ChaosBlade 是阿里巴巴 2019 年开源的混沌工程项目,已加入到 CNCF Sandbox 中。起初包含面向多环境、多语言的混沌工程实验工具 ChaosBlade,到现在发展到面向多集群、多环境、多语言的混沌工程平台 chaosblade-box,平台支持实验工具托管和工具自动化部署,通过统一用户实验界面,将用户的精力聚焦在通过混沌工程解决云原生过程中高可用问题上。本文从混沌实验模型抽象、混沌实验工具开源和混沌工程平台升级项目三阶段出发,详细介绍 ChaosBlade。
638 2
ChaosBlade:从混沌工程实验工具到混沌工程平台
|
Web App开发 Kubernetes 监控
Chaos带你快速上手混沌工程实战体验
Chaos带你快速上手混沌工程实战体验
199 0
Chaos带你快速上手混沌工程实战体验
|
Web App开发 数据安全/隐私保护 容器
Chaos带你快速上手混沌工程实验报告
Chaos带你快速上手混沌工程实验报告
200 0
Chaos带你快速上手混沌工程实验报告
|
Web App开发 存储 Kubernetes
带你快速上手混沌工程
容器服务Kubernetes版(简称ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理;是国内唯一入选2020年Gartner公共云容器报告的产品,并在2019年Forrester容器报告中获国内排名第一;整合了阿里云虚拟化、存储、网络和安全能力,助力企业高效运行云端Kubernetes容器化应用。
212 0
带你快速上手混沌工程
|
监控 Kubernetes Cloud Native
Chaos带你快速上手混沌工程
场景主要介绍混沌工程的思想及其原理,体验故障演练(AHAS Chaos),阿里云在混沌工程领域的产品。,11 月 9 日至 11 月 23 日期间,,完成体验即可获得“TOMY 多美卡合金车模一辆”。
Chaos带你快速上手混沌工程