生产环境缺陷管理

简介: 在一个大型团队中,bug协同管理是一件复杂的事情,发布经理要追版本bug,运维同学要评估bug影响范围,开发同学要在多个开发分支同时修复同一个bug,很容易出现bug漏提交、漏确认等生产安全问题。我们基于go-git开发实现了通用化的git-poison,通过分布式源码管理bug追溯、查询,可复制性高,适用于所有git仓库,与分支模式和代码仓库无关。bug管理不依赖人与人之间沟通协调,降低了认知负担。

Bug为什么重复翻车
任何软件都会有bug。即使再全面的测试,再细致的代码review,也不能保证线上的每一段代码都bug-free。但是已经识别到的bug,为什么还会重复翻车呢?归根结底,git多分支开发模式会导致bug扩散。引入bug和发现和修复bug的时间异步,口头沟通确认bug易疏漏。
很多人看到前言的故障可能会认为,这只是“不小心”犯了个错误,下次再“细心”一点儿就好了。其实不是的,在百人规模的团队中,人犯错可以说是必然的。


图1 (Baron Schwartz "Approaching the Unacceptable Workload Boundary")
上图形象展示了人与人之间的协同成本。10人团队的整体协同一次的沟通次数为90/2=45次,那么100人则是4650次。这个次数只是相互协同一次,大多数场景下,由于bug和bugfix是随时出现的,再加上人的失误 (沟通中忘了某些bug等),所以一般来讲,一个发布流程至少需要前后同步三次,沟通成本巨大。所以谁能打包票,在这个流程中不犯错?只有通过工具来进行自动化管理才能保证从“不做错”到“做不错”。
几个典型翻车场景
场景一:未修复bug代码上线


图2 发布同学多方协同
微服务化盛行,系统各服务独立发布,发布owner也会选择本组比较有经验的同学,但仍旧不能避免开发与发布之间的信息割裂。该类问题有很多种表现形态,举例来说:
我是一名开发:我发现了一个新Bug,我得赶紧告诉版本发布负责人,叫停本次版本发布;
我是一名测试:我发现了一个新Bug,我需要评估线上该Bug受影响的范围,安排hotfix;
我是一名运维:我在调查一个生产问题,我不知道这是不是一个已知问题,我去问问开发;
版本发布同学,作为整个流程的核心人物,在这个繁琐的流程中极易犯错。
场景二:已修复bug但没修全
还有一类情况,就是针对分支开发的代码漏合。


图3 分支开发漏合bugfix
某一分支发现bug时(参考上图branch master),第一时间一定会在master分支上进行修复。然而此时带有该bug的branch1就被遗漏了。该问题在多个LTS(Long Time Support)分支的开发模式中尤其严重,每个版本都需要发布同学double check有无重点bugfix漏合。
场景三:已修复bug线上漏发
这就是前言提到的场景。人为疏漏。
漏发确实是非常大的问题,但是也有客观原因。面对千万级别的生产环境,数十年多个生产版本共存,面临这样的组合爆炸,人肉确认hotfix发布范围不遗漏确实是很大的挑战。


图4 线上多种环境组合,发布同学易遗漏
如上图,假如所有集群按物理ENV分为六组(线上生产远大于此),例子里本次发布bugfix的同学就是漏掉了ENV5的集群,已知bug也刚好在这个分组的集群中再次出现了。
发布卡点Bug信息
因此,应当存在全局角色来维护bug相关信息。任何角色、任何时间、任何地点都能够编辑和访问。
无论是devops模式,还是传统的专职“研发,测试,运维”模式,都会面临负责发布的负责人,单点评估整个版本的bugfix以及确认未修复bug,充当“人肉pipeline”。作为一个分布式系统开发人员,能否使用分布式工具来解决分布式沟通协同的老大难问题呢?
git-poison的出现,不仅能实时在“开发,测试,发布”间同步所有已知问题,还能参与发布卡点,确认当前版本的未修复bug信息,节约人力成本。


图5 多方调用git-poison满足需求
如何使用
git-poison基于go-git的分布式源码管理,实现bug的追溯、查询和反馈,灵活&&可复制性高,适用于任何开发模式以及任意代码仓库。另外,git-poison不依赖人与人之间的协作沟通,减少认知负担沟通成本,自动化精准召回bug中毒域,实现poison commit发布阻塞。


图6 git-poison 投毒/解药/银针 (yum install git-poison)
对于开发者,只需要记住一件事:抓紧投毒!
回到前言说到的P1故障,使用git-poison就能简单有效避免“重复翻车”的场景:
值班:线上出现故障,定位问题。使用git-posion投毒。
开发:bug修复,使用git-poison解毒。
发布hotfix:发布完毕后,使用git-poison银针,确保线上所有带bug的版本,都带有本次的bugfix。
如何实现
每一次投毒/解毒,git-poison的poisons远程git仓库中都会生成/更新一条对应记录。不同代码仓库对应不同分支,隔离不同源的posions信息。
{  "poison":"1q234tre5467gcs7yui8ew13",  "cure":"9875jgbsw32gtx6djri8sofi0h",  "comment":"[to #12345678] service iohang",  "editor":"Iris",}
check-commit则应用了git原生强大的history tree管理。


图7 红色QW为毒药commit下的git历史DAG
如上图,假如我们当前在release分支上,上次的发布commit是B,当前的发布commit是X。通过 git rev-list 可以直接获取到整个DAG(Directed Acyclic Graph)。结合git-poison的记录,若红色的Q和W是没有解药的poison,则git-poison会阻塞本次发布,返回投毒同学以及对应bug的记录文档信息。
假如我们在Dev分支上查询L是否“有毒”,则git-poison会返回“healthy”。
最佳实践
发布减负


图8 发布平台使用git-poison进行卡点
引入git-poison后,在团队的发布流程中,发布平台会调用git-poison自动导入本次版本发布的“Bugfix列表”和“未修复Bug列表”,便于发布经理评估该版本的质量风险,无需再口头追个确认。包括本次发布修复的问题列表,以及是否有未解决的bug。

Before

After

1.发布同学git log两次发布之间所有的commit
2.发布同学筛选本模块相关commit
3.拉群一一询问对应patch owner

1.发布平台自动调用git-poison导入未修复bug,
发布经理评估发布风险

风险观测


图9 git-poison 联动线上风险展示
运维平台可以集成git-poison来检查线上部署的服务版本是否存在中毒情况。线上风险一目了然。尤其是发现一个新bug后,值班同学可以立即投毒,并通过该页面获取该bug影响的范围。

Before

After

1.值班同学发现bug
2.值班同学去代码仓库查找引入bug的commit对应时间
3.获取线上所有模板找到对应的build版本
4.人肉排查该bug是否在对应版本中

1.值班同学发现bug
2.使用git-poison进行投毒查看影响范围

结语
目前git-poison已经在公司内部开源,团队已经实现、使用并集成到发布平台管理Bug一年多。开发同学本地使用顺畅,学习成本低,发布流程中多次有效阻塞带bug的版本,并为定位bug影响范围提供极大便利。

目录
相关文章
|
Python Windows
Windows定时任务 每隔一段时间(最小到秒级)执行一次指定的Python脚本
Windows定时任务 每隔一段时间(最小到秒级)执行一次指定的Python脚本
Windows定时任务 每隔一段时间(最小到秒级)执行一次指定的Python脚本
|
存储 Kubernetes 监控
基于Kubernetes的电商平台部署:实现高可用、弹性伸缩与容器化管理
基于Kubernetes的电商平台部署:实现高可用、弹性伸缩与容器化管理
|
5月前
|
传感器 人工智能 安全
智慧工地管理平台解决方案,智慧工地平台源码
智慧工地管理平台专为房建、能源、交通等工地管理者设计,融合AI视频与物联感知技术,实现施工机械、材料、规范及环境的全方位监管。平台涵盖项目管控、特种设备管理、绿色施工、工地巡检等功能,通过多维度数据分析(如机械设备运行、环境监测、车辆清洗等),实时更新施工现场数据。系统具备全面的物联感知、丰富的业务功能、灵活的应用场景及完善的开放接口,支持数字化管理与工地数字孪生构建,助力提升施工安全、质量和效率。
233 7
|
7月前
|
新能源
19期HR必读书单大揭秘:从薪酬体系搭建到绩效使能的实战指南
作为8年HR老兵,我深知HR在专业进阶中的迷茫。2023年数据显示76%的HR有知识焦虑。本文揭秘19期HR共读书单,涵盖薪酬体系、组织发展、招聘管理等全模块。如《薪酬管理从入门到精通》提供“3E模型”,《绩效使能》刷新OKR认知,《HRBP是这样炼成的》构建能力跃迁路线图。书单还包含实战攻略,如主题式阅读法与结构化笔记模板,助你将理论转化为实践,破解“知道但不会用”的困境。
191 18
|
11月前
|
JSON JavaScript 前端开发
harmony-chatroom 自研纯血鸿蒙OS Next 5.0聊天APP实战案例
HarmonyOS-Chat是一个基于纯血鸿蒙OS Next5.0 API12实战开发的聊天应用程序。这个项目使用了ArkUI和ArkTS技术栈,实现了类似微信的消息UI布局、输入框光标处插入文字、emoji表情图片/GIF动图、图片预览、红包、语音/位置UI、长按语音面板等功能。
791 3
|
10月前
|
人工智能 自然语言处理 小程序
基于通义千问32B及RAG技术的CACA指南诊疗规范平台落地实践
本方案整合CACA智能导航系统与基于RAG的大模型医疗问答系统,旨在提供高效、精准的肿瘤诊治支持。通过指南AI导航、知识图谱查询等功能,优化医生诊疗流程,提升患者服务质量,实现医疗资源的有效利用。
535 6
|
数据采集 传感器 监控
工控、物联网、电力行业调试工具大全
探索工控、物联网及电力行业调试工具:[Modbus](https://www.redisant.cn/mse)、[MQTT](https://www.redisant.cn/mqtt)、[IEC104/101](https://www.redisant.cn/iec104client)、[IEC61850](https://www.redisant.cn/iec61850client) 和 [DL/T645](https://www.redisant.cn/dl645master)。这些协议在自动化、智能电网、设备通信中扮演关键角色,提供模拟器和调试工具以优化系统性能和互操作性。
316 0
|
人工智能 NoSQL atlas
Fireworks AI和MongoDB:依托您的数据,借助优质模型,助力您开发高速AI应用
我们欣然宣布MongoDB与 Fireworks AI 正携手合作让客户能够利用生成式人工智能 (AI)更快速、更高效、更安全地开展创新活动
2997 2
|
缓存 前端开发 JavaScript
前端技术栈的深入解析
前端技术栈的深入解析
391 1
|
Java 持续交付 开发者
使用 Docker 容器化 Java Web 应用:提高开发和部署效率
【4月更文挑战第4天】Docker 作为轻量级容器技术,提升了 Java Web 应用的开发和部署效率。它提供类似生产环境的本地开发体验,减少环境配置时间,保证应用隔离性与稳定性。Docker 改善了部署流程,实现跨环境的无缝迁移,支持自动化构建、部署和扩展,并促进持续集成和持续部署,助力企业实现更高效、可靠的软件生命周期管理。
315 8