你居然只知道蓝绿发布?今天教你全链路灰度~

简介: 在我上家公司其实只有小型的灰度发布,可能会有人跳起来喊:那你们怎么发布服务的?通过k8s的**滚动发布**来实现无缝上线,如果上线失败呢,通过旧release分支构回去。这其实是灰度里头的**流量比**负载。

前言


Q:谈到灰度发布,你会想起什么?

🙋‍♂️:在我上家公司其实只有小型的灰度发布,可能会有人跳起来喊:那你们怎么发布服务的?

通过k8s的滚动发布来实现无缝上线,如果上线失败呢,通过旧release分支构回去。这其实是灰度里头的流量比负载。

谈谈我认知里的灰度发布
  • 灰度发布是什么?

灰度发布(Gray release)是指在黑与白之间,能够平滑过渡的一种发布方式。大白话,就是在新旧版本里面可以丝滑的切换,一看就是德芙吃多了😁

  • 灰度有哪些形式?
灰度方案 长什么样 优缺点
蓝绿发布 有两套一毛一样的环境,在上线的时候,通过切换不同环境,来达到丝滑上线 优点:快捷。缺点:浪费资源
AB Test 通过不同的角色或者用户来进入不同逻辑,进行验证 优点:粒度更小
金丝雀发布 通过流量比将流量负载到不同机器 缺点:灰度粒度比较粗
  • 完善的灰度长什么样子?

把所有优点拿过,拿来主义。蓝绿+AB Test,归纳一下,其实就是流量比+tag。

蓝绿跟金丝雀,通过流量比来切换,AB Test通过标识来切换。

全链路灰度建设


全链路灰度是什么?

顾名思义,就是整条调用链路,你想访问哪就访问哪,指哪打哪。我们可以设想想,蓝绿发布是所有应用的灰度,一刀切。AB Test是部分用户,部分切。全链路发布,其实是需要细化到服务、接口级别灰度,而且贯穿整条链路~

全链路灰度怎么打造

全链路灰度由什么构成


  1. 网关流量染色
  2. 网关层负载均衡
  3. rpc层负载均衡
  4. 上下文透传
  5. 数据隔离(看情况)

流量染色


流量染色,就是我们对符合条件的流量进行标记。那么它有几种方式呢?两种:主动染色、被动染色。

  • 主动染色

比如说,只要你有100W就是土豪,每个人进来的时候进行搜查,你满足条件给你打上土豪tag。

  • 被动染色

这个更好理解了,小明是老赖,我看见小明就知道他是老赖,不需要去翻他资料,对吧。

流量染色怎么实现?

其实很简单,首先我们需要一套规则体系,rule,然后在网关层进行筛选流量,进行打标。技术手段就是往gateway exchange 设置Attributes,然后在网关flux链路传递。

这里我们踩过的坑,为啥不用threadlocal去传递这个标识?

gateway采用flux异步非阻塞实现的,也就是说他们根本不在一个线程去处理。官方推荐就是塞入exchange里头。

网关层负载均衡


关注我的就知道,之前我写过类似的文章,大家可以阅读下。

原理是什么?

我们将染色的流量,路由到对应的服务。技术方案是:在网关流量染色之后,通过Nacos注册中心,改写负载均衡算法,进行路由到对应的服务。

这里的服务概念就比较模糊了,可以是特定版本的服务,比如说V1、V2。也可以是,服务起来之后打对应tag标签,这一类的服务是灰度标识,灰度流量走这边~

RPC层负载均衡


我们常见的RPC有哪些?Feign、RestTemplate、WebClient。

其中能负载的是那种根据serviceId来查询服务,如果你通过host、url那种来请求,拜拜了,干不了。(PS:其实也可以改写host,但是不够优雅)

怎么改写负载均衡呢?

在高版本,Feign已经不再依赖Ribbon实现负载了,通过loadBalance来实现负载均衡。

重写ReactorServiceInstanceLoadBalancer,实现Feign、RestTemplate负载均衡

Q:怎么实现服务级别的灰度呢?

🙋‍♂️:我们通过Nacos naminServer拿到不同环境namespace的服务列表,你想路由到哪里都行了。

我们可以参考NacosLoadBalancer

image.png

上下文透传


这个其实是APM的内容,比如说上面的Feign,怎么将这个染色的标识传到下一个节点呢?大部分中间件、框架都有拦截器,我们只需要把它打到对应的header头。

Feign

@Bean
public RequestInterceptor headerInterceptor() {
    return template -> {
        ServletRequestAttributes attributes = (ServletRequestAttributes) RequestContextHolder.getRequestAttributes();
        if (null != attributes) {
            HttpServletRequest request = attributes.getRequest();
            Enumeration<String> headerNames = request.getHeaderNames();
            if (headerNames != null) {
                while (headerNames.hasMoreElements()) {
                    String name = headerNames.nextElement();
                    String values = request.getHeader(name);
                    // 跳过 content-length,防止报错Feign报错feign.RetryableException: too many bytes written executing
                    if (name.equals("content-length")) {
                        continue;
                    }
                    template.header(name, values);
                }
            }
        }
    };
}

RestTemplate


import org.springframework.http.HttpRequest;
import org.springframework.http.client.ClientHttpRequestExecution;
import org.springframework.http.client.ClientHttpRequestInterceptor;
import org.springframework.http.client.ClientHttpResponse;
import org.springframework.stereotype.Component;
import org.springframework.web.context.request.RequestContextHolder;
import org.springframework.web.context.request.ServletRequestAttributes;

import javax.servlet.http.HttpServletRequest;
import java.io.IOException;
import java.util.Enumeration;

@Component
public class RestTemplateInterceptor implements ClientHttpRequestInterceptor {

    @Override
    public ClientHttpResponse intercept(HttpRequest request, byte[] body, ClientHttpRequestExecution execution)
            throws IOException {
        ServletRequestAttributes attributes = (ServletRequestAttributes) RequestContextHolder.getRequestAttributes();
        if (null != attributes) {
            HttpServletRequest httpServletRequest = attributes.getRequest();
            Enumeration<String> headerNames = httpServletRequest.getHeaderNames();
            if (headerNames != null) {
                while (headerNames.hasMoreElements()) {
                    String name = headerNames.nextElement();
                    String values = httpServletRequest.getHeader(name);
                    // 跳过 content-length,防止报错Feign报错feign.RetryableException: too many bytes written executing
                    if (name.equals("content-length")) {
                        continue;
                    }
                    request.getHeaders().add(name, values);
                }
            }
        }
        return execution.execute(request, body);
    }

}

@LoadBalanced
@Bean
public RestTemplate getRestTemplate(RestTemplateInterceptor restTemplateInterceptor) {
    RestTemplate restTemplate = new RestTemplate();
    restTemplate.setInterceptors(List.of(restTemplateInterceptor));
    return restTemplate;
}

当然这只是一部分场景,还有多线程,线程池、Hystrix等等场景。

数据隔离


这个看情况,如果做测试数据灰度的,需要做影子表、影子库进行隔离,重写数据库连接。

这个方案有没有缺点?


答案是肯定的,既然是全链路灰度,网关层如何做灰度?

有人会反驳:网关层一般是稳定的。

没错,网关正常情况下是稳定的,但是在前期会有变动,比如说网关接入权限系统做验证鉴权。

对于开源中间件Discovery也是存在这个问题

# 基于gateway灰度方案,如果网关需要更新新功能,怎么动态更新网关?

image.png

它山之石可以攻玉

我们来看阿里是怎么实现全链路灰度的,其实原理都差不多。

image.png

下一篇:多泳道建设


下一篇我会讲述多泳道建设,它采用的技术跟这个很像,大家敬请期待~

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
相关文章
|
消息中间件 人工智能 Kafka
AI 时代的数据通道:云消息队列 Kafka 的演进与实践
云消息队列 Kafka 版通过在架构创新、性能优化与生态融合等方面的突破性进展,为企业构建实时数据驱动的应用提供了坚实支撑,持续赋能客户业务创新。
1057 91
|
机器学习/深度学习 人工智能 Kubernetes
Argo Workflows 加速在 Kubernetes 上构建机器学习 Pipelines
Argo Workflows 是 Kubernetes 上的工作流引擎,支持机器学习、数据处理、基础设施自动化及 CI/CD 等场景。作为 CNCF 毕业项目,其扩展性强、云原生轻量化,受到广泛采用。近期更新包括性能优化、调度策略增强、Python SDK 支持及 AI/大数据任务集成,助力企业高效构建 AI、ML、Data Pipelines。
1451 0
|
Dubbo Java 测试技术
上线别再“一刀切”!Gateway 做流量染色 + 灰度发布,告别线上事故
小富分享:通过Spring Cloud Gateway实现流量染色与灰度发布,为请求打标签(如VIP用户),结合自定义路由规则,实现新版本平滑上线。支持按用户、比例、设备等维度灰度,提升发布安全性,助力高效可控的线上迭代。
1184 5
|
存储 缓存 监控
怎么更好地设计一个优秀的SaaS系统
设计一个优秀的SaaS系统,需要从架构、性能、安全性、租户隔离、扩展性等多方面进行深思熟虑。根据业务需求选择合适的多租户架构,保证数据隔离的同时提高系统性能。
1945 1
|
存储 运维 监控
OpenFeature 实战:统一特征开关在风控模型的落地与灰度发布方案
在金融风控场景中,模型迭代速度与线上稳定性之间的平衡是一大挑战。传统硬编码方式存在耦合度高、控制粒度粗、缺乏审计等问题,导致误拦截损失显著。本文介绍了基于 OpenFeature 的解决方案,通过动态配置、细粒度控制和多语言支持实现高效特征管理,并结合灰度发布、熔断机制和安全审计提升系统稳定性与发布安全性。实战数据显示,该方案显著缩短上线周期、降低故障率并提升模型覆盖率,具备高可用性和可扩展性,适用于复杂风控环境下的策略迭代需求。
|
自然语言处理 监控 安全
从原型到生产:LLM评估框架选型的黄金法则
本文系统解析企业级LLM应用评估体系,涵盖多轮对话、RAG、智能体三大场景,对比主流框架适配性,助力构建科学评估流程。建议点赞收藏。
1708 1
|
Prometheus Kubernetes Cloud Native
Kruise Rollout:灵活可插拔的渐进式发布框架
Kruise Rollout 是 OpenKruise 社区开源的渐进式交付框架。Kruise Rollout 支持配合流量和实例灰度的金丝雀发布、蓝绿发布、A/B Testing 发布,以及发布过程能够基于 Prometheus Metrics 指标自动化分批与暂停,并提供旁路的无感对接、兼容已有的多种工作负载(Deployment、CloneSet、DaemonSet)。近期也在《2022 开放原子全球开源峰会》上面做了主题分享,以下是主要内容。
Kruise Rollout:灵活可插拔的渐进式发布框架
|
存储 运维 安全
云上金融量化策略回测方案与最佳实践
2024年11月29日,阿里云在上海举办金融量化策略回测Workshop,汇聚多位行业专家,围绕量化投资的最佳实践、数据隐私安全、量化策略回测方案等议题进行深入探讨。活动特别设计了动手实践环节,帮助参会者亲身体验阿里云产品功能,涵盖EHPC量化回测和Argo Workflows量化回测两大主题,旨在提升量化投研效率与安全性。
云上金融量化策略回测方案与最佳实践
|
Cloud Native 安全 Java
铭师堂的云原生升级实践
铭师堂完整经历了云计算应用的四个关键阶段:从”启动上云”到”全量上云”,再到”全栈用云”,最终达到”精益用云”。通过 MSE 云原生网关的落地,为我们的组织带来了诸多收益,SLA 提升至100%,财务成本降低67%,算力成本降低75%,每次请求 RT 减少5ms。
铭师堂的云原生升级实践
|
SQL 存储 缓存
Flink SQL Deduplication 去重以及如何获取最新状态操作
Flink SQL Deduplication 是一种高效的数据去重功能,支持多种数据类型和灵活的配置选项。它通过哈希表、时间窗口和状态管理等技术实现去重,适用于流处理和批处理场景。本文介绍了其特性、原理、实际案例及源码分析,帮助读者更好地理解和应用这一功能。
1659 14