白天大流量下发布依然如丝般顺滑

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
简介: 为什么很多互联网公司不敢在白天发布,都选择在半夜发布。要是能摆脱半夜发布的窘境,它不香吗?选择在半夜发布无非是为了减少对用户的影响,出了问题影响面可控。那我们就来谈谈,发布会有哪些问题若您的应用没有上下线的问题,您的任何应用在发布的过程中会造成短暂的服务不可用,短时间内业务监控会出现大量 io 异常...

为什么很多互联网公司不敢在白天发布,都选择在半夜发布。要是能摆脱半夜发布的窘境,它不香吗?选择在半夜发布无非是为了减少对用户的影响,出了问题影响面可控。

那我们就来谈谈,发布会有哪些问题

  • 若您的应用没有上下线的问题,您的任何应用在发布的过程中会造成短暂的服务不可用,短时间内业务监控会出现大量 io 异常报错,对业务的连续性造成困扰

  • 发布是整个功能更新到线上的最后一个环节,一些研发过程中累计的问题,在最后发布环节才会触发。如果此时是白天大流量的场景,极小的问题由于大流量的因素都会被快速放大,影响面难以控制

  • 发布若涉及到多个应用,如何进行合理地发布并且不会有版本问题导致流量受损

所有发布的问题大致总结为以上三条,接下来我会分几篇文章详细讲一下为什么会有这些问题,已经我们如何解决这些问题。也希望大家都可以早点下班,摆脱半夜发布的窘境,抽出时间多陪陪家人

本文将围绕 实例上下线 场景,讲述发布过程中的问题

大流量下的应用发布现状

应用 Demo

Demo 以 Spring Cloud 为例,我们准备了如下demo。流量是阿里云性能测试服务PTS发起,通过开源的Zuul网关流入我们的系统

PTS使用文档:https://pts.console.aliyun.com/

其中其服务调用链路如下图所示:

Dingtalk_20230227103209

图中流量从 Netflix Zuul 对应的 Ingress 进来,会调用 SC-A 应用对应的服务,SC-A 应用内部调用 SC-B 应用的服务,SC-B 应用内部调用 SC-C 应用的服务。

Helm 部署 Demo

helm install mse/mse-samples

Demo为纯开源Spring Cloud架构,项目地址:

https://github.com/aliyun/alibabacloud-microservice-demo/tree/master/microservice-doc-demo/traffic-management

部署完毕后,阿里云容器服务上的工作负载情况如下:

Dingtalk_20230227103304

我们通过 while true; do curl http://{ip:port}/A/a;echo;doneshell 命令不断地去访问 Spring Cloud 服务,我们可以看到我们demo的作用仅仅是打印当前服务的ip,我们可以看到整体调用的链路。

while true; do curl http://{ip:port}/A/a;echo;done
A[10.0.0.81] -> B[10.0.0.82] -> C[10.0.0.68]
A[10.0.0.179] -> B[10.0.0.82] -> C[10.0.0.50]
A[10.0.0.80] -> B[10.0.0.82] -> C[10.0.0.68]
A[10.0.0.49] -> B[10.0.0.82] -> C[10.0.0.50]
A[10.0.0.81] -> B[10.0.0.175] -> C[10.0.0.68]
A[10.0.0.179] -> B[10.0.0.175] -> C[10.0.0.50]
A[10.0.0.80] -> B[10.0.0.175] -> C[10.0.0.68]
A[10.0.0.49] -> B[10.0.0.175] -> C[10.0.0.50]
A[10.0.0.81] -> B[10.0.0.82] -> C[10.0.0.68]
...

我们去PTS上面配置压测 500 qps,并在压测的过程中分别进行应用缩容、扩容以及发布,并观察压测的情况。

大流量下开源应用的表现

缩容

在500qps压测的情况下,将 sc-a 应用从4个pod缩容到1个pod,压测时长3分钟

  • 观察K8s的事件,我们看到在17:35:21时,进行应用缩容

Dingtalk_20230227103335
  • 查看性能压测报告,我们观察到从 17:35:21 开始出错,17:35:36 停止报错,其中报错时长持续15秒,总共出现469个异常

Dingtalk_20230227103359
  • 其中详细过程报告如下

Dingtalk_20230227103422

扩容

再来看看压测态下,应用扩容的表现,我们在500qps压测的情况下,将 sc-a 应用从1个pod扩容到4个pod,压测时长3分钟

  • 观察K8s的事件,我们看到在 17:47:03 时,进行应用扩容

Dingtalk_20230227103901

  • 查看性能压测报告,我们观察到从 17:47:12 开始出错,17:47:19 停止报错,其中报错时长持续7秒,总共出现257个异常

Dingtalk_20230227103927
  • 其中详细过程报告如下

image

发布

在500qps压测的情况下,将 sc-a 应用(4个pod)进行发布,压测时长3分钟

  • 观察K8s的事件,我们看到在 17:53:42 时,进行应用发布

Dingtalk_20230227103953

  • 查看性能压测报告,我们观察到从 17:53:42 开始出错,17:54:24 停止报错,其中报错时长持续42秒,总共出现1万多个异常

看到这个报错量,讲道理,就算半夜我也不敢发布。

image

  • 其中详细过程报告如下

image

现状与思考

可以看到大流量下应用发布的问题,刻不容缓。随着云原生架构的发展,弹性伸缩、滚动升级、分批发布等云原生能力让用户获得了资源、成本、稳定性的最优解,正是因为其弹性等特点,如果应用存在上线、下线等问题,那么这些问题将会在云原生架构下被放大。

想象一下如果每次扩容、缩容、发布都有这些不必要的错误,业务的连续性、产品的用户体验均会收到巨大的打击,如何在服务更新部署过程中保证业务无感知,是开发者必须要解决的问题,即从应用停止到重新运行,是不能影响正常业务请求的。

减少不必要的API错误是最好的客户体验。

这是一个非常痛的点,这时候有个人告诉你,我知道怎么搞定,我有着丰富的经验,知道怎么解决,你肯定很开心。

然后花高薪请进来了,确实不错,各种架构图、框架原理,框架修改点都非常清晰而且功能确实完美。最后评估对当前系统的修改成本,需要搭建三套中间件服务端,增加 4 个中间件依赖,修改几万行代码和配置。

“打扰了,还是业务重要,产品经理给的需求还没完成呢,刚刚说的场景也没那么痛苦,不就几个小问题嘛,真的没事。”

这时候 MSE 告诉你,MSE 的微服务解决方案,不需要做任何的代码和配置的修改,就能完美地解上下线中的问题。您只需将您的应用接入MSE服务治理,您就能享受到 MSE 的无损下线的能力。

你,不心动吗?

是的,你没看错,只要你的应用是基于 Spring Cloud 或 Dubbo 最近五年内的版本开发,就能直接使用完整的  MSE 微服务治理能力,不需要修改任何代码和配置。

具备无损下线的应用发布

如何接入 MSE 无损下线

您只需将您的应用接入 MSE 服务治理,即可具备微服务治理的无损下线能力。

接入后的表现

我们看一下接入MSE服务治理后的扩缩容以及发布的表现,同样是原先的

缩容

在500qps压测的情况下,将 sc-a 应用从4个pod缩容到1个pod,压测时长3分钟

  • 观察K8s的事件,我们看到在17:41:06时,进行应用缩容

image
  • 查看性能压测报告,我们观察到流量全程无损,其中并发稳定在30左右。

image
  • 其中详细过程报告如下,可以看到应用缩容对业务来说完全无感知

image

扩容

在500qps压测的情况下,将 sc-a 应用从1个pod扩容到4个pod,压测时长3分钟

  • 观察K8s的事件,我们看到在20:00:19时,进行应用扩容

image
  • 查看性能压测报告,无报错。

image
  • 其中详细过程报告如下,可以看到应用缩容对业务来说无报错,但是在20:01:07开始有并发存在凸起,后续会上线无损上线功能,将完善该逻辑,使凸起平滑。

image

发布

在500qps压测的情况下,将 sc-a 应用(4个pod)进行发布,压测时长3分钟

  • 观察K8s的事件,我们看到在 20:08:55 时,进行应用发布

image
  • 查看性能压测报告,我们观察流量全程无报错。

image

其中详细过程报告如下,可以看到应用缩容对业务来说无报错,但是在20:09:39、20:10:27 有并发存在轻微凸起,后续会上线无损上线功能,将完善该逻辑,使凸起平滑。

image

对比应用在接入 MSE 服务治理前后发布过程中的表现,我们可以看到 MSE 完全解决了发布、扩缩容过程中流量报错的痛点,使业务更加稳定,产品体验更加丝滑。同时接入 MSE 服务治理后无需修改一行代码即可享受到无损下线能力。

总结

本文介绍了微服务治理下无损下线的能力,保障了发布期间的流量,让您摆脱半夜发布的窘境,您的应用只需接入MSE服务治理,无需任何操作即可享受到无损下线的能力。除了MSE(微服务引擎),无损能力还被EDAS、SAE等云产品集成,同时无损下线已经在阿里云核心业务大规模落地,助力保障云上业务稳定性,让您业务永远在线。

后面章节会详细揭秘为何只需接入MSE服务治理,您的应用就能白天大流量下发布依然如丝般顺滑的黑魔法,敬请期待。另外, MSE 微服务引擎不仅仅具备微服务治理能力,我们还提供托管开源注册中心、配置中心、开源网关等服务。通过托管的Baas化产品,将我们阿里云十多年微服务最佳实践能力通过云产品方式输出,助力保障云上业务稳定性,让您业务永远在线。

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
1月前
|
Java Android开发 UED
🧠Android多线程与异步编程实战!告别卡顿,让应用响应如丝般顺滑!🧵
在Android开发中,为应对复杂应用场景和繁重计算任务,多线程与异步编程成为保证UI流畅性的关键。本文将介绍Android中的多线程基础,包括Thread、Handler、Looper、AsyncTask及ExecutorService等,并通过示例代码展示其实用性。AsyncTask适用于简单后台操作,而ExecutorService则能更好地管理复杂并发任务。合理运用这些技术,可显著提升应用性能和用户体验,避免内存泄漏和线程安全问题,确保UI更新顺畅。
69 5
|
5月前
|
运维 关系型数据库 分布式数据库
客户说|从4小时到15分钟,一次分布式数据库的丝滑体验
识货APP致力于为广大用户提供专业的网购决策指导,为喜欢追求性价比的网购朋友带来及时劲爆的运动、潮流、生活、时尚等网购优惠资讯,产品覆盖国内外主流购物商城。它提供了全球范围内的时尚品牌、潮流单品的信息,帮助用户发现和购买最新、最热、最具性价比的时尚商品。近年来,各大电商平台上的商品信息持续增加,海量商品信息增加了消费者的选购成本。识货从用户视角出发,不断整合行业渠道供给,降低发现和筛选成本,帮助用户更高效地购买到最具性价比的产品。
|
Kubernetes Cloud Native Java
揭秘大流量场景下发布如「丝般顺滑」背后的原因
很多互联网公司半夜发布,只为减小用户影响,出了问题场面可控。MSE服务治理无损下线,保障了发布期间的流量,让您摆脱半夜发布的窘境。
3119 3
揭秘大流量场景下发布如「丝般顺滑」背后的原因
|
存储 对象存储 数据安全/隐私保护
借助阿里云,Wyingo如何让海淘之旅如丝绸般顺滑
为了积累高质量私域流量, Wyingo株式会社部署了独立站网店,给客户提供日本产品在线交易。因为业务规模持续发展壮大,网店访问量、交易量随之水涨船高。为了更好地打理店铺,Wyingo株式会社在通过前期的咨询与考察后,采用了阿里云的产品对象存储OSS。
537 0
借助阿里云,Wyingo如何让海淘之旅如丝绸般顺滑
|
机器学习/深度学习 IDE Java
十倍速开发提效
> *概述:对`jetbrains`系列 IDE 使用技巧进行系统化梳理和整合* ## 背景 ### 目的 欲善其事,先利其器。对于研发同学,在日常的开发工作中,我们与之打交道最多的便是编程的IDE。能否高效和灵活的使用IDE,将对我们的工作效率起着举足轻重的作用。 研发同学在开发中最主要做的两件事分别是架构设计和编码,前者主要取决于大量的项目经验积累和个人的思考深度,也是
701 1
十倍速开发提效
|
开发者 UED
游戏陪玩源码开发,提升推送系统可用性的三种方式
游戏陪玩源码开发,提升推送系统可用性的三种方式
|
弹性计算 边缘计算 资源调度
大促密集,CDN如何保障电商体验如丝般顺滑?
前不久,阿里云技术天团空降CSDN在线峰会,对核心技术竞争力进行解读。其中,阿里云高级技术专家曾福华分享了《双11: CDN如何保障电商大促如丝般顺滑》的议题。俗话说:养兵千日,用兵一时。每一次的战役,后面都有无数的团队、无数的预案以及无数的演练在支撑着。双十一的稳定,不仅仅有各种创新各种高科技,还有非常多的体系化工程给与了足够的保障,从物理层到应用层,从资源准入到线上演练,无一不例外的都蕴含着各种门道。面对电商大促,面对百 Tbps 级别的流量,阿里云 CDN 又是如何确保如丝般顺滑的呢?
3795 0
大促密集,CDN如何保障电商体验如丝般顺滑?
|
编解码 双11 UED
猫晚流量再创记录,阿里云直播方案护航优酷2500万用户体验
对“剁手党而言,天猫双11早已经超越了简单的“买买买”,更是一场边看边玩的狂欢盛宴。今年的天猫双11狂欢夜晚会(简称“猫晚”)在上海举办,这台兼具年轻潮流与国际风范的“超级晚会”,通过优酷、浙江卫视、东方卫视进行了全程网络直播和电视直播,吸引了超过全球超过2.4亿人收看。
2437 0
猫晚流量再创记录,阿里云直播方案护航优酷2500万用户体验
|
人工智能 运维 监控
阿里云启用五大超级数据中心支撑双11 :“剁手”体验丝般顺滑
今年双11阿里云超级数据中心放大招了,启用全球最大液冷数据中心支撑双11,液冷服务器、机器人巡逻。
49839 0
阿里云启用五大超级数据中心支撑双11 :“剁手”体验丝般顺滑