我们总结了弹性伸缩的五个条件与六个教训

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 这篇文章,我们将应用企业级分布式应用服务-EDAS 的客户在进行系统架构设计时,在弹性场景下遇到的点滴做了一个系统的梳理,总结为五个条件和六个教训分享给大家。

作者:孤弋


前言


弹性伸缩是云计算时代给我们带来的一项核心技术红利,但是 IT 的世界中,没有一个系统功能可以不假思索的应用到所有的场景中。这篇文章,我们将应用企业级分布式应用服务-EDAS 的客户在进行系统架构设计时,在弹性场景下遇到的点滴做了一个系统的梳理,总结为五个条件和六个教训分享给大家。


五个条件


1、启动无需手动干预


是否需要手动干预是弹性伸缩和手动伸缩的本质区别。在传统应用的运维中,一个进程的启动往往需要在机器上手动准备一系列的事情,如:环境搭建,依赖服务的配置梳理,本地环境配置调整等。如果是在云上的应用可能还需要手动调整安全组规则,依赖服务的访问控制等;但这些需要手动执行的动作在自动弹性时都会变得不可行。


2、进程本身无状态


确切的说,无状态主要是指业务系统运行时对于数据的依赖程度,数据是在进程执行的过程中产生的,产生的数据会对后来的程序行为产生持续的影响,程序员需要在编码逻辑的时候,就考虑如果系统在一个新环境中重新拉起时,这份数据是否对于行为会造成不一致的情况?推荐做法是数据应该最终以存储系统中为准,让存储计算做到真正的分离。


3、启动的要快,走的要有“尊严”


弹性尤其是云上的弹性,其中一个特点是会进行得很频繁。尤其是流量突发型的业务,带着一定的不确定性。而启动后的系统往往处在一个“冷”的状态,启动之后如何快速的“加热”是弹性有效性的关键。而在弹性结束之后,往往伴随着一次自动的缩容,由于这个过程也是自动的,所以我们需要能从技术上能做到自动流量摘除的能力,这里的流量不仅仅包括 HTTP/RPC,也包括消息、任务(后台线程池)调度等。


4、磁盘数据可丢失


在应用启动过程,我们的应用程序可能会使用磁盘配置一些启动依赖项之外;在进程运行的过程中,我们也会习惯性使用磁盘打印一些日志,或者记录一些数据。而弹性场景是进程快起快没,没了之后放在磁盘上的数据也都没了,所以我们要做好磁盘数据丢失的准备,可能有人会问日志怎么处理?日志应该通过日志收集组件收走,进行统一的聚合、清洗和查阅。这一点在 12 factor apps 中也做了强调。


5、依赖的服务充分可用


成规模的业务系统,往往不是一个人在战斗。最典型的架构中,也会使用到一些缓存、数据库等中心服务。一个业务弹性扩容上来之后,很容易忽略中心依赖服务的可用性。如果依赖服务出现不可用,对于整个系统可能就是一个雪崩的效应。


六个教训

1、指标值设置不合理


弹性整体分为三个阶段:指标获取、规则计算、执行伸缩;指标获取一般通过监控系统或者 PaaS 平台自带的组件获取。基础监控指标常见的如:CPU/Mem/Load 等。短期内有一些基础指标数值会存在不稳定的特点,但是时间拉长,正常来看会处在一个“平稳”的状态,我们设置指标的时候,不能以短时间的特征为依据,参考较长时间的某种水位数据才能设置一个合理值。且指标不宜过多,同时缩容指标要和扩容指标存在明显的数值差。


2、把“延时”当指标


很多时候我们识别系统可用性的一个很大的判断,就是看系统屏幕是不是在“转圈圈”,即系统很慢。常理推断,很慢就要扩容了。所以我们有一些客户直接把系统的平均 RT 当成了扩容指标,但系统的 RT 是多维度的,比如 health check 一般都是很快的,这类 API 出现的频率稍高一点,一下就拉低了平均值。也有的客户会精确到 API 级别,可是 API 也是根据参数不同逻辑不一样的从而造成 RT 不一样。总之,根据延时去做弹性策略是很危险的一种做法。


3、指定单一的扩容规格


容规格指的是资源的规格,比如在云上的场景中,对于同一种 4c8g 的规格,我们可以指定内存型、计算型、网络增强型等。但是云上是一个大资源池,对于某一种规格,会存在售罄现象;如果我们只指定了单一的规格,就会出现资源无法提供而出现扩容失败的情况。这里最危险的还不是扩容失败本身,是出现业务故障之后的排查过程会特别漫长。


4、只考虑RPC链路中的应用策略


针对单个应用往往都很简单的,难的是整个业务场景的梳理。梳理思路一个简单的办法就是按照应用调用的场景进行,从应用间调用的场景来看,一般来说分为三种:同步(RPC,中间件如 Spring Cloud)、异步(消息,中间件如 RocketMQ)、任务(分布式调度,中间件如 SchedulerX)。我们一般会很快整理出第一种情况,但是很容易忽略掉后面两种。而后面两种出现问题的时候,问题排查诊断又是最为耗时。


5、没有配套相应的可视化策略


弹性伸缩是一个典型的后台任务,在治理一个大集群的后台任务的时候,最好是有一块大屏进行直观的可视化治理。对于扩容失败的情形,不能静默处理。如果是核心业务出现扩容失败,可能带来的就是直接的业务故障,但是故障真正发生时,很多时候不会去关心扩容策略是否生效,如果真是因为扩容造成的故障,也很难排查到这个点。


6、事前没做正确评估


虽然云计算给弹性提供了近乎无尽的资源池,但这也只是解放了用户预备资源的工作,而微服务系统本身复杂,单一组件的容量变化会产生全链路的影响,既解除一处风险之后系统瓶颈点可能会迁移,有些隐形约束也会随着容量变化逐步显现,所以做弹性策略大多数时候不能靠力大砖飞的思想,需要做好全链路的压测、验证,演练到适应于全局的弹性配置;我们还是建议事前从高可用的多个维度了解各种技术手段,形成多套预案以备使用。


尾声

云原生场景下弹性能力更为丰富,可供弹性的指标也更具备业务定制能力。应用 PaaS 平台(如企业级分布式应用服务 EDAS/ Serverless 应用引擎 SAE 等)能结合云厂商在计算、存储、网络上的技术基础能力,能让使用云的成本更低。但是这里对于业务应用会提出一点点挑战(如:无状态/配置代码解耦等等)。从更广的侧面来看,这是云原生时代应用架构面临的挑战。不过应用越来越原生的话,云的技术红利也会离我们越来越近。


关注阿里云云原生,让应用架构云原生化助力更多企业数字化转型!


相关文章
|
2月前
|
弹性计算 运维 关系型数据库
如何利用弹性伸缩降低成本
利用弹性伸缩降低成本
26 3
|
2月前
|
弹性计算 监控 调度
带你读《弹性计算技术指导及场景应用》——2. vGPU资源利用率的提升、监控与告警的实现
带你读《弹性计算技术指导及场景应用》——2. vGPU资源利用率的提升、监控与告警的实现
|
3月前
|
关系型数据库 Serverless 分布式数据库
针对PolarDB的Serverless能力从资源弹升速度、资源伸缩广度以及资源伸缩的稳定性三个维度的产品测评
针对PolarDB的Serverless能力从资源弹升速度、资源伸缩广度以及资源伸缩的稳定性三个维度的产品测评
199 0
|
5月前
|
监控 Serverless
带你读《浅谈阿里云通用产品线Serverless的小小演化史》一、弹性之上的弹性---近乎无限的资源(4)
带你读《浅谈阿里云通用产品线Serverless的小小演化史》一、弹性之上的弹性---近乎无限的资源(4)
184 0
|
5月前
|
监控 Serverless
带你读《浅谈阿里云通用产品线Serverless的小小演化史》一、弹性之上的弹性---近乎无限的资源(3)
带你读《浅谈阿里云通用产品线Serverless的小小演化史》一、弹性之上的弹性---近乎无限的资源(3)
216 0
|
5月前
|
监控 Serverless API
带你读《浅谈阿里云通用产品线Serverless的小小演化史》一、弹性之上的弹性---近乎无限的资源(2)
带你读《浅谈阿里云通用产品线Serverless的小小演化史》一、弹性之上的弹性---近乎无限的资源(2)
229 0
|
存储 机器学习/深度学习 缓存
从资源弹性到数据弹性,乾象如何将云上量化研究效率提升 40%?
本文将分享乾象量化研究基础平台的具体实践,介绍基于 Fluid+JuiceFSRuntime 的公共云弹性量化投研工作支撑。
从资源弹性到数据弹性,乾象如何将云上量化研究效率提升 40%?
|
弹性计算 监控 开发者
通过伸缩规则创建伸缩方案-介绍|学习笔记
快速学习通过伸缩规则创建伸缩方案-介绍
113 0
通过伸缩规则创建伸缩方案-介绍|学习笔记
|
弹性计算 监控 负载均衡
创建简易弹性伸缩方案-介绍|学习笔记
快速学习创建简易弹性伸缩方案-介绍
211 0
创建简易弹性伸缩方案-介绍|学习笔记
|
弹性计算 开发者
通过伸缩规则创建弹性伸缩方案-操作演示|学习笔记
快速学习通过伸缩规则创建弹性伸缩方案-操作演示
92 0
通过伸缩规则创建弹性伸缩方案-操作演示|学习笔记

相关产品

  • 云消息队列 MQ
  • 云消息队列 Kafka 版
  • 微服务引擎