混沌工程是什么?
在2020.11.25 AWS发生了服务大面积故障,造成了多个云产品服务受影响,不到一个月的时间内谷歌发生了那年的第三次大规模宕机,造成了波及20亿用户,损失170万美元的巨大损失。
系统架构经历了单机 到 分布式,再到现在的云原生架构,其复杂度不断上涨,问题定位的难度也随之上涨。面对随时都可能发生的故障,有没有什么的办法能很好解决这个困境。
混沌工程(Chaos Engineering)在分布式系统上进行实验的学科,通过主动注入故障的方式,提前发现系统的薄弱点,推进架构的改进,最终实现业务韧性。从而避免故障在线上运行环境上发生。
这里拿云原生架构来举例说明,为什么混沌工程能解决系统架构中存在的问题。云原生架构原则和混沌工程原则是可以找到对应关系,以服务化原则说明,服务化原则其根本就是服务如何治理的问题,也就是判断上下游服务之间强弱依赖关系的问题。通过混沌工程,可以通过将请求定位到具体机器,再缩小到具体机器上的应用,不断最小化爆炸半径,通过在应用之间注入故障,判断上下游服务是否正常,来判断其强弱依赖关系。
混沌工程的目标是实现韧性架构,这里包含两个部分:韧性系统和韧性组织。韧性系统具有冗余性、扩展性、不可变基础设施、无状态应用、避免级联故障等。韧性组织包含高效交付、故障预案、应急响应机制等。高度韧性的系统也会出现预期之外的故障,所以韧性的组织能弥补韧性系统缺失的部分,通过混沌工程构建极致的韧性架构。
混沌工程就是通过主动注入故障的方式,提前发现系统的薄弱点,推进架构改进,最终实现业务韧性。引入混沌工程对于不同职能的人而言,其业务价值有所不同:
- 架构师:能帮助其验证架构的容错能力
- 开发/运维:能提高其故障的应急效率
- 测试:帮助其提早暴露线上问题,降低故障复发率
- 产品/设计:提示客户使用体验
如何落地混沌工程?
对于企业或业务如何对混沌工程进行落地?有无工具或平台能帮助其快速落地?
ChaosBlade 是一款遵循混沌实验模型的混沌实验执行工具,具有场景丰富度高,简单易用等特点,支持多平台、多语言环境,包括Linux、Kubernetes和Docker平台,支持Java、NodeJS、C++、Golang 语言应用。支持200多个场景,3000多个参数。是一款用于端侧的故障注入工具,但在业务进行落地时,会存在以下几个问题:
- 故障注入过程如何可视化?
- 如何同时对多个集群或主机进行故障注入?
- 如何拿到整体演练的统计信息
- ......
所以在ChaosBlade之上还需要平台层,对混沌工程执行工具进行管理与演练编排。
ChaosBlade-Box是面向多集群、多语言、多环境,开源的云原生混沌工程控制台。
开源平台和注入工具的整体架构如下,主要包括几个组成模块:
- ChaosBlade-Box Console :混沌实验用户界面
- ChaosBlade-Box:Server后端服务,主要包括演练场景的编排和安全管控、混沌工程工具部署(ChaosBlade、LitmusChaos...)、支持探针管理和多维度实验
- Agent:探针,主要有(ChaosBlade-Box)Server端进行建联并保持心跳、上报k8s相关数据、演练命令下发通道等功能
- ChaosBlade:部署在业务的主机或k8s集群内,在端侧进行演练的工具
新版ChaosBlade-Box平台是一个面向多集群、多环境、多语言的云原生混沌工程平台。支持国际化中英文切换,支持全局命名空间,使得同一用户可根据自己需求,设置不同的全局命名空间,如:测试空间、沙盒空间和线上空间等。提供自动化的工具部署,简化工具安装步骤,提高执行效率。平台支持不同环境的探针安装和演练,如主机和Kubernetes,其中Kubernetes环境下支持 Node、Pod、Container维度下的演练。在Kubernetes环境下会自动收集集群内的Pod相关数据,并在应用管理中进行统一管理,这样简化用户演练查询步骤,无需去集群内查看要演练应用的Pod名或Container名。并支持一键迁移到企业版,按需将社区版的演练数据同步到企业版。
以下是在新版ChaosBlade-Box平台上进行一次演练的全过程,支持顺序执行、阶段执行两种流程编排,顺序执行指的是多个演练场景依次生效,阶段执行值得是多个演练场景同时生效。通过多种安全策略保证演练得到恢复,如手动处罚和自动停止,自动停止通过在演练配置的时候设置超时参数来进行配置,这样即便平台和探针(Agent)失联,无法进行手动停止时,也能在超时时间到达的时候,自动恢复故障。
新版优势是什么?
此次发布的新版相较于老版,前端界面和企业版进行统一,简化使用习惯的切换成本,更为完善的国际化中英文切换,并支持全局命名空间的切换;后端提供了更为流畅的演练编排,完善的应用管理,并加强了对探针的管控,并支持一键迁移到企业版;加强了探针的功能,提供了更加完善的API,支持多环境部署且支持在不同环境作为演练通道,支持自动安装卸载,并收集并上报数据简化演练流畅。