弹性伸缩 ESS 实践:千里达票务系统节假日自动扩缩容
最头疼的事:国庆前两周就开始加 ECS,加少了怕扛不住,加多了节后闲置一个月,账单难看。接入阿里云弹性伸缩 ESS 后,按 CPU/自定义指标自动扩缩组,平时 4 台,节前 1 小时自动加到 15 台,节后自动缩回来,完全不用人盯。
一、自动扩缩 vs 手动扩容
- 手动:节前估个数提前开,节后手动关,中间差值全是浪费;
- ESS:根据实时负载触发告警 → 自动加机器 → 注册到 SLB → 流量切进来;缩容相反。
二、伸缩组设计
- 最小实例数:4(平峰兜底);
- 最大实例数:20(节假日上限);
- 冷却时间:300 秒(避免抖动反复扩缩);
- 扩缩规则:
- CPU 平均 > 60% 持续 3 分钟 → 加 2 台;
- CPU 平均 < 30% 持续 10 分钟 → 减 1 台。
三、关键配置
3.1 启动模板
所有新 ECS 从同一镜像启动:基础环境、JDK、监控 Agent 全部预装,userdata 只做最后的配置拉取。
3.2 自定义伸缩指标
除了 CPU,接 ARMS 的接口 P99:
- P99 > 500ms 持续 3 分钟 → 扩容(防止 CPU 还没上来但接口已慢)。
3.3 健康检查
SLB 健康检查失败的实例自动移出伸缩组并替换,不用人工盯。
四、踩坑复盘
- 冷启动慢:新 ECS 启动后 JVM 预热要 1 分钟,刚加进来就接流量会 502。解决:启动脚本里加就绪探针,预热完再注册到 SLB;
- 缩容误伤:缩容时正好有用户在这台机器上,请求被切走。解决:配置优雅缩容,先摘流等连接处理完再关机;
- 镜像不一致:手动改过某台 ECS,没更新镜像,自动扩出来的新机器缺配置。解决:所有变更走镜像版本管理,禁止登录 ECS 手改;
- 节假日峰值突刺:9 点开园瞬间 QPS 翻倍,CPU 还没触发扩容已经卡了。解决:节前按日历定时扩到 10 台,节中再靠 ESS 微调。
五、效果与总结
ESS 上线后,千里达票务系统平峰服务器成本降了 40%,节假日也再没出现"加机器来不及"的情况。自动扩缩的本质是把运维动作策略化:阈值、镜像、预热、缩容都写好,让系统在该扩的时候自己扩。