通过Jenkins构建CI/CD实现全链路灰度

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 通过Jenkins构建CI/CD实现全链路灰度


本文介绍通过 Jenkins 构建流水线的方式实现全链路灰度功能。

在发布过程中,为了整体稳定性,我们总是希望能够用小部分特定流量来验证下新发布应用是否正常。

即使新版本有问题,也能及时发现,控制影响面,保障了整体的稳定性。

01 整体架构

Aliware

我们以如下 Demo 为例:

为了保证稳定,我们约定如下上线流程:

其中,在灰度验证中,有几种不同的策略:

  • 直接使用线上小部分流量来测试(按照百分比放量)
  • 从线上按照特定规则选择流量(比如特定的 header、特定的 cookie 等)
  • 在客户端或浏览器上标识出流量是否灰度(比如通过 header 传递)

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

02 部署应用&创建泳道

Aliware

按照参考文档部署应用后,我们首先要区分线上流量和灰度流量。

创建泳道组,将整个链路涉及到的应用全选:

然后创建泳道组,将符合规则的应用划入 gray 泳道:

注:没有匹配的流量,会走到基线环境,也就是没有打标的应用节点上。

配置完成后,访问网关,如果不符合灰度规则,走基线环境:

如何符合灰度规则,走灰度环境:

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

03 Jenkins 流水线

Aliware

本文实践需要将源码打包后执行镜像推送,请确保 Jenkins 有权限推送到镜像仓库中。具体操作,请参见使用 kaniko 构建和推送容器镜像。

在 Jenkins 命名空间下使用生成的 config.json 文件创建名为 jenkins-docker-cfg 的 Secret。

kubectl create secret generic jenkins-docker-cfg -n jenkins --from-file=/root/.docker/config.json

1 在 Jenkins 中创建全链路灰度发布流水线

基于 Jenkins 实现自动化发布的流水线,通过该流水线可以使应用发布具备可灰度、可观测、可回滚的安全生产三板斧能力。

  1. 在 Jenkins 控制台左侧导航栏单击新建任务
  2. 输入任务名称 ,选择流水线 ,然后单击确定
  3. 在顶部菜单栏单击流水线 页签,在流水线 区域配置相关参数选择,输入脚本路径 ,然后单击保存

  • 定义 :选择 Pipeline script from SCM。
  • SCM :选择 Git。
  • Repository URL :输入 Git 仓库的 URL。
  • 脚本路径 :输入 Jenkinsfile。

您可以参考以下的文件填写好指定的参数,当然您也可以根据需求编写 Jenkinsfile ,并上传至 Git 的指定路径下(流水线中指定的脚本路径)。

#!groovy
pipeline {
    // 定义本次构建使用哪个标签的构建环境,本示例中为 “slave-pipeline”
    agent{
        node{
          label 'slave-pipeline'
        }
    }
    //常量参数,初始确定后一般不需更改
    environment{
        IMAGE = sh(returnStdout: true,script: 'echo registry.$image_region.aliyuncs.com/$image_namespace/$image_reponame:$image_tag').trim()
        BRANCH =  sh(returnStdout: true,script: 'echo $branch').trim()
    }
    options {
        //保持构建的最大个数
        buildDiscarder(logRotator(numToKeepStr: '10'))
    }
    parameters {
        string(name: 'image_region', defaultValue: 'cn-shanghai')
        string(name: 'image_namespace', defaultValue: 'yizhan')
        string(name: 'image_reponame', defaultValue: 'spring-cloud-a')
        string(name: 'image_tag', defaultValue: 'gray')
        string(name: 'branch', defaultValue: 'master')
        string(name: 'number_of_pods', defaultValue: '2')
    }
    //pipeline的各个阶段场景
    stages {
        stage('代码打包') {
            steps{
                container("maven") {
                    echo "镜像构建......"
                    sh "cd A && mvn clean package"
                }
            }
        }
        stage('镜像构建及发布'){
          steps{
              container("kaniko") {
                  sh "kaniko -f `pwd`/A/Dockerfile -c `pwd`/A --destination=${IMAGE} --skip-tls-verify"
              }
          }
        }
        stage('灰度部署') {
            steps{
                container('kubectl') {
                    echo "灰度部署......"
                    sh "cd A && sed -i -E \"s/${env.image_reponame}:.+/${env.image_reponame}:${env.image_tag}/\" A-gray-deployment.yaml"
                    sh "cd A && sed -i -E \"s/replicas:.+/replicas: ${env.number_of_pods}/\" A-gray-deployment.yaml"
                    sh "kubectl apply -f A/A-gray-deployment.yaml -n default"
                }
            }
        }
        stage('结束灰度') {
            input {
                message "请确认是否全量发布"
                ok "确认"
                parameters {
                    string(name: 'continue', defaultValue: 'true', description: 'true为全量发布,其他为回滚')
                }
            }
            steps{
                script {
                    env.continue = sh (script: 'echo ${continue}', returnStdout: true).trim()
                    if (env.continue.equals('true')) {
                        container('kubectl') {
                            echo "全量发布......"
                            sh "cd A && sed -i -E \"s/${env.image_reponame}:.+/${env.image_reponame}:${env.image_tag}/\" A-deployment.yaml"
                            sh "cd A && sed -i -E \"s/replicas:.+/replicas: ${env.number_of_pods}/\" A-deployment.yaml"
                            sh "kubectl apply -f A/A-deployment.yaml -n default"
                        }
                    } else {
                        echo '回滚'
                    }
                    container('kubectl') {
                        sh "kubectl delete -f A/A-gray-deployment.yaml -n default"
                    }
                }
            }
        }
    }
}

2 构建 Jenkins 流水线

  1. 在 Jenkins 控制台单击流水线右侧的图标。
  2. 单击流水线的开始构建

说明:第一次构建因为需要从 Git 仓库拉取配置并初始化流水线,所以可能会报错,再次执行 Build with Parameters,生成相关的参数,填写相关的参数,再次执行构建。

查看部署状态,代码打包,镜像构建及发布,灰度部署 阶段都已经完成,结束灰度 阶段等待确认。

  • 如果验证结果符合预期,则执行全量发布,请参见后文的全量发布应用。
  • 如果验证结果不符合预期时,则执行回滚,请参见后文的回滚应用。

3 结果验证

  1. 登录容器服务控制台,在控制台左侧导航栏中,单击集群
  2. 集群列表 页面中,单击目标集群名称或者目标集群右侧操作 列下的详情
  3. 在集群管理页面左侧导航栏选择工作负载 > 无状态
  4. 无状态 应用列表页面,spring-cloud-a-gray应用已经自动创建,并且它的镜像已经替换为spring-cloud-a:gray版本。

  1. 在集群管理页面左侧导航栏选择网络 > 服务 ,选择设置的命名空间,单击zuul-slb 服务的外部端点 ,查看真实的调用情况。
  • 不带灰度 Header 进行调用,发现路由到 A 的正常节点。
  • Curl 命令:
curl http://182.92.XX.XX/A/a
A[10.4.XX.XX] -> B[10.4.XX.XX] -> C[10.4.XX.XX]%

     带上符合条件的参数进行访问,路由到 A 的灰度节点中。

  • Curl 命令:
curl http://182.92.XX.XX/A/a?name=xiaoming
- 执行结果如下:
Agray[10.4.XX.XX] -> B[10.4.XX.XX] -> C[10.4.XX.XX]%
  1. 登录 MSE 治理中心控制台,在应用详情页面,可以看到灰度流量已经进入到灰度的 Pod 中。

4 全量发布应用

结果验证通过之后,确认全量发布。

  1. 在 Jenkins 控制台中,单击目标流水线名称。
  2. 单击需要全量发布的阶段,在请确认是否全量发布 对话框中输入 true,然后单击确认

  1. 在容器服务控制台,发现 spring-cloud-a-gray 应用已经被删除,并且 spring-cloud-a 应用的镜像已经替换为 spring-cloud-a:gray 版本。

  1. 在 MSE治理中心控制台,发现灰度流量已经消失。

5 回滚应用

如果发现验证结果不符合预期时,则回滚应用。

  1. 在 Jenkins 控制台中,单击目标流水线名称。
  2. 单击需要全量发布的阶段,在请确认是否全量发布 对话框中输入 false,然后单击确认

  1. 在容器服务控制台,发现 spring-cloud-a-gray 应用已经被删除,并且 spring-cloud-a 应用的镜像仍然是老版本。

  1. 在 MSE 治理中心控制台,发现灰度流量已经消失。

04 总结

Aliware

在微服务治理架构中,全链路灰度功能能提供虚拟泳道,极大的方便了测试、发布时的快速验证,能够帮助 DevOPs 提升线上稳定性。

阿里云微服务引擎(MSE)能够给您带来全生命周期的、全方位的微服务治理能力,保障您的线上稳定性、提升开发、运维效率。

相关链接:

参考文档:

https://github.com/aliyun/alibabacloud-microservice-demo/blob/master/mse-simple-demo/helm/mse-simple-demo/README.md

示例代码仓库地址:

https://gitee.com/mse-group/alibabacloud-microservice-demo/tree/master/mse-simple-demo

容器服务控制台

https://cs.console.aliyun.com/#/k8s/cluster/list

MSE治理中心控制台

https://mse.console.aliyun.com/#/overview

使用 kaniko 构建和推送容器镜像:

https://help.aliyun.com/document_detail/106712.htm




相关实践学习
Docker镜像管理快速入门
本教程将介绍如何使用Docker构建镜像,并通过阿里云镜像服务分发到ECS服务器,运行该镜像。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
9天前
|
jenkins Devops 机器人
【DevOps】(五)Jenkins构建给企业微信推送消息
【DevOps】(五)Jenkins构建给企业微信推送消息
31 1
|
9天前
|
jenkins Java 持续交付
Jenkins与Docker的自动化CI/CD实战
Jenkins与Docker的自动化CI/CD实战
|
9天前
|
jenkins Shell 持续交付
Jenkins job 创建、参数化、定时构建及时区偏差问题
在Jenkins中创建新任务,步骤:设置任务名,选择自由风格,输入描述并配置丢弃旧构建的规则(保留最近3次)。接着,参数化构建过程,添加字符参数并设定其名称、默认值和描述。在构建触发器中,设定定时构建为每2分钟一次(H2/ * * * *)。在构建阶段执行Shell命令,打印参数param。构建结果显示每2分钟执行一次,保留最近3次构建,参数默认值为Jenkins。定时构建的cron语法详解,并给出常见定时构建示例。当遇到Jenkins显示时间与系统时间不一致(UTC时间差8小时)的问题,解决办法是在Docker启动时添加参数调整时区至上海,确认时区修改成功后,构建历史时间将与系统时间同步。
22 2
|
9天前
|
jenkins 持续交付
Jenkins构建简单流水线
Jenkins构建简单流水线
17 0
|
9天前
|
JavaScript jenkins 持续交付
Jenkins自动构建 CI/CD流水线学习笔记(从入门到入土,理论+示例)
Jenkins自动构建 CI/CD流水线学习笔记(从入门到入土,理论+示例)
81 0
|
9天前
|
存储 jenkins 持续交付
百度搜索:蓝易云【Docker+Rancher+Harbor+GitLab+Jenkins搭建CI/CD环境】
请注意,上述步骤仅为一个示例,实际搭建过程可能因环境和需求的不同而有所变化。因此,在实际操作中,请参考相应工具的官方文档和指南,以确保正确地配置和集成这些工具。
65 3
|
9天前
|
jenkins Java 持续交付
【项目集成工具】Jenkins
【项目集成工具】Jenkins
|
9天前
|
jenkins Java 持续交付
实战指南:运用Jenkins实现Java项目的持续集成与自动化部署
【4月更文挑战第17天】Jenkins是一款强大的开源CI/CD工具,广泛用于Java项目的自动化构建、测试和部署。通过配置Jenkins环境、创建Job、设定构建触发器和步骤,实现持续集成和部署。集成Maven、Git等工具,确保代码质量并加速上线。持续部署阶段,Jenkins可将工件发布至远程服务器或云环境,实现高效、稳定的自动化流程。实践过程中,关注工作流优化、配置备份和服务器状态监控,以提升整体开发效率和软件质量。
|
9天前
|
jenkins Java 持续交付
Docker Swarm总结+Jenkins安装配置与集成(5/5)
Docker Swarm总结+Jenkins安装配置与集成(5/5)
63 0

热门文章

最新文章