生产环境发布管理

简介: 本文介绍大型团队如何通过自动化部署平台实现多环境(dev/test/pre/prod)高效发布与运维。涵盖各环境职责、基于Jenkins+K8S的CI/CD流程、分支管理、一键发布及回滚机制,并结合Skywalking实现日志链路追踪,提升问题定位与修复效率。

前言
在一个大型团队中,生产发布是一件复杂的事情,从dev(前后端联调)-->test(测试集成&压力测试)-->pre(灰度测试)-->prod(生产环境)的多环境推进,以及生产环境的热更新、回滚等问题一直在困扰着各个公司,今天我将基于公司的自动化部署平台为大家讲解下我们是如何做到多环境部署。
每个环境做什么
在明确发布之前,我们需要明确一下每个环境的主要职责和角色:
DEV:也叫开发环境
● 事项:前后端接口联调,修复代码基础缺陷
● 角色:前端-后端
TEST:也叫测试环境
● 事项:测试集成测试、压力测试,开发修复bug
● 角色:开发(前端后端)、测试
PRE:也叫灰度环境
● 事项:生产环境冒烟测试,切5个左右真实生产数据,回归流程是否有问题
● 角色:开发(前端后端)、测试
PROD:也叫生产环境
● 事项:发布代码,做真实环境验证,有问题第一时间修复(sql止血订正或代码回滚)
● 角色:开发(前端后端)、测试、运维
大型公司如何管控代码发布
随着自动化部署CI/CD(DevOPS)成熟,目前大型公司都开始搭建自动化部署平台,形如下图:

图1 (自动化部署平台应用主页)
当用户进入应用主页后,会发现有不同的发布环境,每一个环境对应一台服务器、一个访问域名、一组中间件环境(即dev、test等环境的nacos-mysql等都是分环境部署的)。

图2 (自动化部署平台多环境)
同时自动化部署平台会自动整合公司的gitlab,将分支展现在发布平台,以便用户可以界面化操作和部署

图3 (自动化部署平台分支管理)
当用户需要创建分支时,不再需要像传统的那样去git创建,或者idea创建,而是可以直接在当前发布平台创建(底层是一样的,都是创建一个新的git分支)

图4 (自动化部署平台分支创建)
当用户需要发布时,只需要进入对应的环境(这里我们以test为例),勾选所需要发布的分支,即可实现自动化部署。下图可以看到test环境同时部署分支约20个。

图5 (自动化部署平台提交发布)
需要注意的是:假设我们需要对A分支进行发布,只需要勾选A分支,底层Jenkins会自动完成jar包构建,并执行底层的Docker run指令完成容器部署,这里部署的jar包每个环境都是隔离的。
即dev的jar跟test无关,每次都是新构建自己的。即使是test,点击两次发布也是构建了两个jar,只不过第二次的会覆盖第一次。这点各位需要明晰。
当测试提出我们有bug时,对应的开发人员就需要在idea中,A分支上完成代码修复并push,然后在自动化部署平台重新勾选分支,然后提交部署,完成一次重新发布,循环此过程,直至缺陷被修复。
如何排查日志
当测试提出某个环境有bug时,如果是传统Linux直接部署,我们会登录到指定的服务器用cat、grep、vim等指令进入日志文件,然后找到错误的堆栈信息。如果有结合Arthas的(Arthas排查错误)可以启动Arthas查看错误信息。但是现在一般都是会借助于Skywalking或ELK进行日志查看

图6 (自动化部署平台日志排查)
在上图中我们就可以看到:一个GET请求,请求路径是:/dict/default/staff,然后一个远程服务调用,使用的dubbo,最后查询mysql数据库,这样就完成一个完整的日志链路追踪。
如何回答相关问题
1.你们公司如何部署发布
方案一:Linux原生部署
我们公司的部署呢,还是比较原始的,就是直接部署在原生的Linux系统,我们平时dev发布就在idea构建好一个jar包,然后用XShell上传上去,用指令:nohup java -jar tj-learning.jar启动。测试环境和生产也是一样的操作
方案二:基于Jenkins的自动化部署平台
我们公司的部署都已经非常成熟了,有一套自动部署平台,底层是Jenkins+K8S实现自动化部署发布,我们只需要在dev、test、prod等环境勾选需要发布的分支就行,它全帮我们做好了自动部署。
2.你们公司怎么排查错误
方案一:Linux原生环境
我们公司的部署呢,还是比较原始的,就是直接部署在原生的Linux系统,所以排查日志也需要自己去找到error.log,然后手动找到报错的堆栈信息,分析出原因。比如有个NPE(NullPointException-空指针异常),就会显示具体哪行报错,我们就会分析、修复。
方案二:基于Docker的原生平台
我们公司目前的部署就是原生的Docker,通过docker logs命令人肉排查
方案三:基于Skywalking的日志检索平台(CI/CD平台)
对于日志排查,我们公司是有Skywalking的,只需要测试给我对应的traceId,我输入进去就可以看到完整的调用链路和报错的堆栈信息,然后就可以分析报错原因并修复了

相关文章
|
6月前
|
SpringCloudAlibaba Java Nacos
SpringCloud概述
Spring Cloud是Spring推出的微服务统一解决方案,弥补了各技术分散的不足,具备约定优于配置、组件丰富、开箱即用等特点。通过伦敦地铁站命名版本,避免与子项目版本冲突。Spring Cloud Alibaba融合阿里开源组件(如Nacos、Sentinel、Seata等),提供完整微服务生态,因Netflix组件停更,现成为主流选择。本节介绍其诞生背景、版本机制及技术体系,为后续实战奠定基础。
|
6月前
|
容灾 关系型数据库 Nacos
Seata的部署和集成
本文介绍Seata分布式事务TC服务的部署与微服务集成步骤。包括下载、配置、数据库表初始化,通过Nacos实现配置共享与注册,搭建高可用集群,并实现异地容灾。微服务通过统一配置中心动态映射事务组,提升系统灵活性与可靠性。(239字)
|
6月前
|
JSON 自然语言处理 数据库
索引库、文档操作
本文介绍了Elasticsearch的核心概念及其与MySQL的对比,涵盖索引、映射、文档等结构,详细讲解了索引库和文档的增删改查操作,并结合Kibana与Java RestClient实现创建、查询、删除索引及批量导入数据,帮助读者掌握ES基础操作与实际应用。
|
6月前
|
SQL 运维 分布式计算
如何做好SQL质量监控
SLS推出用户级SQL质量监控功能,集成于CloudLens for SLS,提供健康分、服务指标、运行明细、SQL Pattern分析及优化建议五大维度,助力用户全面掌握SQL使用情况,实现精细化管理与性能优化,提升日志分析效率与体验。
|
6月前
|
Kubernetes IDE Java
部署篇(工具部署)
本文介绍EDAS在Kubernetes上部署SpringCloud应用的多场景工具体系,涵盖IDE、Maven插件、CI/CD、Terraform和CLI五种部署方式,覆盖开发至运维全链路,提升部署效率与安全性,并预告后续将聚焦“可灰度、可回滚、可监控”的线上变更实践。
|
6月前
|
JSON 缓存 前端开发
什么是跨域
CORS(跨域资源共享)是W3C标准,允许浏览器向跨源服务器发送XMLHttpRequest请求,突破AJAX同源限制。需浏览器和服务器共同支持,现代浏览器均已兼容。通信过程由浏览器自动处理,开发者无需特殊编码。核心在于服务器需实现CORS接口,通过设置如Access-Control-Allow-Origin等响应头,控制跨域权限。分为简单请求与非简单请求,后者会先发起OPTIONS预检。相比仅支持GET的JSONP,CORS支持所有HTTP方法,更灵活安全。
|
6月前
|
自然语言处理 关系型数据库 MySQL
数据聚合、自动补全、数据同步
本文介绍了Elasticsearch中数据聚合、自动补全与数据同步的核心功能。通过Bucket、Metric、Pipeline三类聚合,可实现品牌分组、统计计算等实时分析;结合拼音分词器与Completion Suggester,实现搜索框智能提示;并通过MQ或binlog监听实现MySQL与ES的数据同步,提升系统解耦与实时性。
|
6月前
|
自然语言处理 数据可视化 Docker
安装ES、Kibana、IK
本文介绍如何通过Docker部署单节点Elasticsearch与Kibana,并配置IK分词器。内容涵盖网络创建、镜像加载、容器运行、数据卷挂载、Kibana可视化界面使用及DevTools调试。重点讲解IK分词器的离线安装、扩展词典与停用词典配置,提升中文分词效果。同时提供常见问题解决方案,如ES启动报错处理。全过程适用于学习与测试环境搭建。(238字)
|
6月前
|
负载均衡 算法 架构师
Ribbon负载均衡
本文深入解析Spring Cloud中Ribbon实现客户端负载均衡的原理,从@LoadBalanced注解作用切入,详解负载均衡分类、算法及Ribbon源码流程,并介绍自定义策略与饥饿加载优化,帮助读者全面掌握Ribbon核心机制,为后续学习Nacos等服务注册与发现技术打下基础。(238字)
|
6月前
|
安全 数据安全/隐私保护 微服务
什么是权限管理
权限管理包含认证与授权两大核心。认证验证用户身份,确保合法登录;授权则根据角色分配资源访问权限,实现菜单差异化展示。通过ACL、RBAC等通用模型,构建安全可控的系统访问机制,保障数据安全与操作合规,是微服务架构中不可或缺的基础能力。(238字)